Merhaba bir wordpress sitesinin robots.txt ayarları nasıl olması lazım benim şöyle:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: http://www.******.com/sitemap_index.xml