kullandıgın bir plugin robots.txt oluşturuyor olabilir..
hocam all in seo ve xml sitemap dışında plugin kullanmıyorum xml eklentisinin robot txt oluşturmasını engellemişim. seo eklentiside robot txt oluşturmuyor ayrıca zaten siteadi.com/robots.txt yaptığımda sadece
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
bunlar vardı engellenen hiç bir link yok yani çok şaşırdım ilk defaa böyle birşey başıma geldi :S