kendileri bu hatayı açıklamış zaten hocam...
Bunun türkçe mealini anlayabileceğin şekilde özetlersem :
FTP'de robots.txt dosyan var ama biz ulaşamadık diyor google amca.
Dosyayı bulamasaydık indexlemeye devam ederdik demiş..Ulaşamadığı için ise indexlemeyi ertelemiş.
Robots.txt dosyana neden ulaşamamıştır ...Burasını bilemiyeceğim işte..
İlk aklıma gelen şey ftp'nde bu dosyanın CHMOD izinlerine bak..bunlarla ilgili sorun olabilir.
yada dosya root'da değilse root'a taşı.
Yada dosyada direk herşeyi disallow ettiysen bunu düzle..
Herşey olabilir ulaşamamasının sebebi ,tam bilemem orasını
kolay gelsin.
inş. robots.txt dosyasından kaynaklanıyordur .. ben google webmasterdan robots.txt hazırladığımı belirtmiştim.. fakat ftp ye atmamıştım dün gece attım inş. bundan sonra indexler...
bu arada robots.txt olmaması erişilemeyen url olmasına sebeb olabilir mi ? sizce norma mil ?