Kişisel düşüncem Robots bir çok işe yarar,
Sitemap ı buldurur
Kötü botları engeller
Sitenizi HTTrack gibi html kopyalama sitelerini ve programlarını engeller
bence güzel bi olay
Merhabalar,
benim site işlerinden pek anladığım yoktur. Ancak profesyonel şekilde makale yazarlığı yapıyorum arada da, kendi siteme içerik giriyorum. Web sitem wordpress alt yapısını kullanmaktadır ve robot.txt dosyası mevcut değildir. İnternette çok araştırdım ancak doyurucu bir kaynağa erişemedim. Bu dosya ne işe yarıyor? Olmamasının dez avantajları nelerdir? Standart bir wordpress alt yapılı sağlık bloğuna en ideal şekilde robot.txt nasıl uyarlanır?