İyi Günler Arkadaşlar

Bir çok arkadaşın aklına bu soru gelmiştir diye tahmin ediyorum. Benim siteme bir çok crawler geliyor. Hepsi birbirinden cins isimlerle. Bunlar bant yiyor bir. (bant sorunum yok ama neden yesin ?) Site trafiğini artırıyor ve siteyi yavaşlatıyor. Ben bunların bazılarını robots.txt ile engellesem acaba hit kaybı olur mu ? veya PR'ye olumsuz etkisi ? Daha geniş anlamda siteye olumsuz etkisi ?

Baidu, OOZBOT, dotnetdotcom.org, PSBot gibi botları engelleyim diyorum.

Alexa, Google, Cuil, Ask.com, Bing, Yahoo gibi siteler bana yetmez mi ?

Görüşlerinizi bekliyorum ?

Ha bi de eğer dediklerimi engellersem. Sitem biraz daha hızlı çalışır mı ?