Alıntı
Google, bir robots.txt kısıtlaması nedeniyle URL'yi tarayamadı. Bu bir dizi nedenden dolayı olabilir. Örneğin robots.txt dosyanız Googlebot'u tamamen engelleyebilir; bu URL'nin yer aldığı dizine erişimi engelleyebilir ya da özellikle bu URL'ye erişimi engelleyebilir. Genellikle bu bir hata değildir.
arkadaşlar 600 sayfamda bu uyarıyı alıyorum.robots.txt dosyası şu şekilde :
User-agent: *
Disallow: /wp-
Disallow:/*ref=*
# BEGIN XML-SITEMAP-PLUGIN
Sitemap:
http://www.adresim..com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
sorun nerede acaba ???