F.Gungor hocamın verdiği robots.txt çok sade kullanıma çok uygun, ben biraz robotlara rehberlik yapmaya çalıştım faydasınıda gördüğüme inanıyorum.
Robots.txt seni 50 ci sıradan 1 ci sıraya yerleştirecek bir etken değil, fakat robotun işini ne kadar kolaylaştırırsan o kadar çok sever senin siteni mantığı ile böyle bir robots.txt oluşturdum.
Gelen botun kafasını fazla karıştırmaya gerek yok. Zaten tüm botlara allow / verilmiş bundan sonra tek tek ayırmaya gerek yok botları.
Ama googlebot-image kullanımı mantıklı olabilir.