Hocam süreç biraz uzun sürmüş. Webmaster tools'u filan bir inceleyin bir analiz yapın cezai bir durum yoksa farklı birşey vardır.
Robots.txt tamam demişsiniz ancak site içerisinde no-index etiketi filan olmasın bazı temalarda olabiliyor kontol etmenizde yarar var.
Hocam robot dosyasında herhangi bir problem yok tüm botlara index izni verilmiş wordpress bir blog benimkisi şöyle bir bakın isterseniz:
sitemap: http://site.com/sitemap.xml User-agent: * Allow: / Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
şeklinde alt alta yazılmış.
Site içerisinde de ben farketmedim nerelerde olabilir index izni verilmeme olayı ve siteme baktığımda en son botlar dün ziyaret etmiş indexlememeleri çok saçma geliyor. makaleler falan da özgün