Kişisel düşüncem Robots bir çok işe yarar,

Sitemap ı buldurur
Kötü botları engeller
Sitenizi HTTrack gibi html kopyalama sitelerini ve programlarını engeller

bence güzel bi olay