F.Gungor hocamın verdiği robots.txt çok sade kullanıma çok uygun, ben biraz robotlara rehberlik yapmaya çalıştım faydasınıda gördüğüme inanıyorum.
Robots.txt seni 50 ci sıradan 1 ci sıraya yerleştirecek bir etken değil, fakat robotun işini ne kadar kolaylaştırırsan o kadar çok sever senin siteni mantığı ile böyle bir robots.txt oluşturdum.