Arkadaşlar 150-200 tane yahoo botu kuşatmayacak. Bakın siz anlamadınız olayı. Baidu adlı japon sitesinin crawler botu zaten geliyor sitenize giriyor. Siz onu misafir sanıyorsunuz ve yanılıyorsunuz. Aslında bu çok güzel bir uygulama. Rambler Rus Botu ne işiniz olur rusla bir bakarsınız sitenizde 15-20 botu var trafik sıkıntısı da çekiyorsanız bu eklenti sayesinde bu botları takip edersiniz. Gereksiz botları robots.txt dosyasını kullanarak bu gereksiz botları disallow yapabilirsiniz.

Biz burada Siteye Bot Davet Etmiyoruz. Sadece Sitenize Giren İzinli İzinsiz Tüm Botları Misafirlerinizden Ayırıyoruz. Böylece ister Cuil'in crawler botuna izin verirsiniz. İsterseniz cuil bana yaramaz bu artık gelmesin der disallow yaparsınız. Fakat sitenize gelen misafirin bot mu yoksa insan mı olduğunu ancak bu tür bir yazılımla bilirsiniz.

Bu sizin Ekstra Bandınızdan yemediği gibi gereksiz band yiyen arama motoru botlarını fark edebilirsiniz.

Örneğin geçen bir tane bot geldi bunun sayesinde fark ettim botun adını google a yazdım ve arama motoru sitesi açılalı 22 gün olmuş. 22 günlük sitenin botunun ne işi var sitemde ? Boşa band yiyecek kim girer o siteden arama yapar ?

Tabi siz bilirsiniz isteyen yükler isteyen yüklemez. İsteyen botların girişini engeller. İsteyen engellemez.

İyi Çalışmalar