ahrefs " Fetching robots.txt took too long " sorunu

merhaba,

ahrefs site takip sisteminde ekli olan web sitelerim de birden bire robots.txt'e erişemiyorum hatası vermeye başladı. şimdi de " Fetching robots.txt took too long " uyarısı veriyor. hizmet aldığım firma ile konuştum engelleme olmadığını söylüyorlar. robots.txt düzenledim kontrol ettim ancak aynı sunucu da barınan 3 web sitesinde de aynı hatayı alıyorum.

sorun hosting kaynaklı ise değiştireceğim lakin bu hatayı ilk defa görüyorum. daha önce karşılaşan var ise desteğinizi rica ederim.

Ahrefs örümceklerinin IP adreslerini tanımlamak gerekebilir hocam.
https://help.ahrefs.com/en/articles/...your-ip-ranges
Sağlayıcı her ne kadar sorun yok dese de, sürekli ve yüksek miktarda gönderilen istekler oto sansüre takılabilir.

bu dokümanı okudum hatta firmaya gönderdim ip adreslerini kontrol etsinler diye ama sorun yok dönüşü geldi. sanırım hosting değiştirmek daha doğru olacak gibi görünüyor.

Anladım yine de detaylıca bakmak gerekebilir hocam, çok geçmiş olsun.

teşekkür ederim.