dosyayı attıkdan sonra az beklemeni tavsiye ederim..belli periyotlarla tarıyor..doğru dosyayı bulacak ve tekrar okuyacaktır..önemli olan
htto://domain.com/robots.txt
sorunsuz çalışsın..botda direk server engeli yoksa (yani server ip banlamamışsa sorun olmaz..yok eğer banlamışsa bunu server yöneticisi ile görüşüp güvenlik ayarlarından düzeltmesini söyleyin)
En son indexlenen konum 3-4 gün önce hocam 2 gündür de yeniliyorum fakat hiçbir faydası olmuyor, hosting firmamla görüştüm defalarca sorular yönelttim fakat bir sıkıntı olmadığını söylediler başka forumlarda bu durumu yaşayan 1-2 arkadaş daha var artık iyice canımı sıkmaya başladı.
robots.txt dosyasını manuel bir şekilde oluşturup Google Webmasters Tools üzerinden yeniden değerlendirme isteği göndermeyi denediniz mi?
Denedim hocam en az 10 kere denedim sildim hatta tüm robots.txt komutlarını artık adım gibi biliyorum kullanımlarını vs zaten öncesinde ekletinin kendi oluşturmuş olduğu robots.txt yi kullanıyordum bu sorunu yaşayınca kendim oluşturup ftpye attım webmaster toolsdan google gibi getir vs diyorum olmuyor genel bir sorun olabilir mi acaba başka birşey gelmiyor aklıma. Google gibi getir dediğimde erişilemeyen sayfa diyor fakat dns ayarlarında v.s hiçbir sıkıntı yok.