Bence her robots.txt her siteye uymaz arkadaşım.
Hem de bu ayrıca siteniz istenilen kısımlarını robotların ziyaretine kapamak içindir.