Örnek olarak

https://www.e-b.com.tr/robots.txt



valtor adlı üyeden alıntı: mesajı görüntüle
Hocam nasıl httrack programlarını felan engellıycez ve botları ?