Konuyu açan arkadaş ile aynı sorunu Yaşıyorum
robots.txt dosyasını şu şekilde yaptım, bir surun varmı acaba?
user-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /404.php
Allow: / Sitemap: http://
www.siteadi.net/sitemap.xml
HOCAM BEN AŞAĞIDAKİ KODU EKLEDİM robots.txt DOSYASINA ;
User-agent: Googlebot-Image
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent: Adsbot-Google
Allow: /
BU KOD EKLENDİKTEN SONRA HOCAM GOOGLE WEBMASTER TOOLS GİRİN ORADAN TEKRARDAN GOOGLE GİBİ GETİR DİYİN ENGELLİ URL LERİ DAHA KISA SÜREDE GELİYOR. BUNU YAPMASANIZDA DÜZELİYOR FAKAT BİRAZ ZAMAN ALIYOR BOTLARIN TÜM URL LERİNİZİ DÜZELTMESİ.