Cevap 5 : Wordpress sanal robots.txt dosyası oluşturur. Yani kök dizinde bir robots.txt dosyası olmasa dahi çalışır ve gerçek bir robots.txt dosyasına gerek kalmaz.

Cevap 4:
Disallow: /wp-admin/
Disallow: /wp-includes/
Bu sayfaların indexlenmesini kim isterki ? Site:siteadi.com sorgusunda onlarca gereksiz sonuç oluşacaktır. Ayrıca robots.txt dosyasındaki ilk satır tüm google botlarının siteyi indexleyebileceğini belirtir. * yerine farklı örümcek adlarıda yazılabilirdi. ama bu gereksiz olurdu. Örümcek bu ölürmü kalırmı gelirmi gelmezmi belli olmaz gelen indexlesin geçsin.
Cevap 1: Eksik bir şey yok çoğu robots.txt dosyası bu şekildedir.

Soru 2 ve 3 konusunda fikrim yok. Benim sitemapimde 777 izinlerine sahip. Farklı izinler verince yazmada sıkıntı yaşadığımdan 777 yapmıştım.