Bir kardeşim sordu ve net bilgim yok. Bilgi sahibi olanlar cevaplarsa sevinirim.

"Wordpress de robots.txt aşağıdaki şekilde ve benim sayfam her geçen gün aşağı iniyor. Aşağıda dikkatimi çeken domain ismi/index.php de disallow olarak gözüküyor. Bu durum sakıncalımıdır..?? Yani burdan anladığım index.php (ana sayfa) ya gelme diyor.."


User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Sitemap: http://domain ismi/sitemap.xml