Geçenlerde Google Web Yöneticisi paneline robots.txt oluşturmamla ilgili bir yarı geldi. Her ne kadar anlam veremesemde. İnternette WP için en iyi robots.txt dosyasına baktım. SEO Hocası şunu paylaşmış; Sizce en ideali bu mudur? Her siteye uyar mı

WordPress için Robots.txt

Sitemap: http://www.siteadresi.com/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Kaynak: http://www.seohocasi.com/hazir-siste...txt-dosyalari/