EBT adlı üyeden alıntı: mesajı görüntüle
Kişisel düşüncem Robots bir çok işe yarar,

Sitemap ı buldurur
Kötü botları engeller
Sitenizi HTTrack gibi html kopyalama sitelerini ve programlarını engeller

bence güzel bi olay
Hocam nasıl httrack programlarını felan engellıycez ve botları ?