RoboTs.txt dosyası doğru hali?

Bir kardeşim sordu ve net bilgim yok. Bilgi sahibi olanlar cevaplarsa sevinirim.

"Wordpress de robots.txt aşağıdaki şekilde ve benim sayfam her geçen gün aşağı iniyor. Aşağıda dikkatimi çeken domain ismi/index.php de disallow olarak gözüküyor. Bu durum sakıncalımıdır..?? Yani burdan anladığım index.php (ana sayfa) ya gelme diyor.."


User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Sitemap: http://domain ismi/sitemap.xml

index.php yi silebilirsiniz. Onun dışında gerisi sorun değil.

Kullandigim robot.txt dosyasi

User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /search/*/feed
Disallow: /*?ref=
Disallow: /*?refsite=

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

#User-agent: ia_archiver-web.archive.org
#Allow: /

Sitemap: http://site.com/sitemap.xml