Ben robots.txt dosyanızda bir hata göremedim.
Ama bir eksik satır var
Allow: /
Bu satır bota herşeyi indexleyebilirsin der.
Ama bot sitenizde robots.txt dosyası olmasa bile zaten tüm siteyi indexler.
Test etmediğim için bilemiyorum.
Eğer robots.txt dosyası var ise bu dosyada allow yok ise botlar ne yapar?
Belkide size yaptığını yapar
Bu nedenle allow ekleyiniz derim.
yeni robots.txt dosyanız google tarafından indirildikten sonra
bunu webmaster tools > sağlık > Engellenen URL'ler sekmesinden görebilirsiniz.
ondan sonra
tools > sağlık > Google gibi Getir sekmesinden
sitenizi test edebilirsiniz.
Eğer sonuç robots.txt tarafından reddedildi ise sorun devam ediyor demektir.
eğer sonuç Başarılı ise sorun yok demektir.


User-Agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.site.com/sitemap.xml.gz


Saygılarımla