Alıntı
Before we crawled the pages of your site, we tried to check your robots.txt file to ensure we didn't crawl any pages that you had roboted out. However, your robots.txt file was unreachable. To make sure we didn't crawl any pages listed in that file, we postponed our crawl. When this happens, we return to your site later and crawl it once we can reach your robots.txt file. Note that this is different from a 404 response when looking for a robots.txt file. If we receive a 404, we assume that a robots.txt file does not exist and we continue the crawl.
kendileri bu hatayı açıklamış zaten hocam...
Bunun türkçe mealini anlayabileceğin şekilde özetlersem :
FTP'de robots.txt dosyan var ama biz ulaşamadık diyor google amca.
Dosyayı bulamasaydık indexlemeye devam ederdik demiş..Ulaşamadığı için ise indexlemeyi ertelemiş.
Robots.txt dosyana neden ulaşamamıştır ...Burasını bilemiyeceğim işte..
İlk aklıma gelen şey ftp'nde bu dosyanın CHMOD izinlerine bak..bunlarla ilgili sorun olabilir.
yada dosya root'da değilse root'a taşı.
Yada dosyada direk herşeyi disallow ettiysen bunu düzle..
Herşey olabilir ulaşamamasının sebebi ,tam bilemem orasını
kolay gelsin.