robots.txt dosyasını kullanarak bu programların site içeriğine erişmesini engelleyebilirsiniz. Diğer bir seçenek dosya izinleri ve uzantılarını değiştirme.
robots.txt kullandım ve oldu en azından HTTrack gibi basit sistemlerden veri çekemeyecekler yardımcı olan herkese teşekkür ederim.