Konu
örnek robots.txt dosyası
03-03-2009, 05:05:24
#6
maker
Kimlik doğrulama veya yönetimden onay bekliyor.
r10'un robots.txt'den
User-agent: HTTrack
Disallow: /
bölümünde. User-agent ne anlama geliyor?