Arama Motorlarının aradığı sitelerin kayıtlarını yapan botlar, örümcekler, ajanlar gibi adlandırılan programların çalışma mantığı hakkında bir yazı yazdım. Görüşlerinizi paylaşırsanız sevinirim.

http://www.hasanyasar.com/2006/06/ar...ch-engine.html