bu konu hakkında giriş seviyesinde bilgi içeren bir yazı yazmıştım
Hasan Yaşar » Archive » Arama Motoru Ajanları (Search Engine Spiders) adresinden okuyabilirsinz