Lüzumsuz crawler botları engellemek hite zarar verir mi ?

İyi Günler Arkadaşlar

Bir çok arkadaşın aklına bu soru gelmiştir diye tahmin ediyorum. Benim siteme bir çok crawler geliyor. Hepsi birbirinden cins isimlerle. Bunlar bant yiyor bir. (bant sorunum yok ama neden yesin ?) Site trafiğini artırıyor ve siteyi yavaşlatıyor. Ben bunların bazılarını robots.txt ile engellesem acaba hit kaybı olur mu ? veya PR'ye olumsuz etkisi ? Daha geniş anlamda siteye olumsuz etkisi ?

Baidu, OOZBOT, dotnetdotcom.org, PSBot gibi botları engelleyim diyorum.

Alexa, Google, Cuil, Ask.com, Bing, Yahoo gibi siteler bana yetmez mi ?

Görüşlerinizi bekliyorum ?

Ha bi de eğer dediklerimi engellersem. Sitem biraz daha hızlı çalışır mı ?

https://www.r10.net/robots.txt bak demekki bir zararı olmuyormuş

bana gelenlerin listesini görebilecek bir sistem var mı site filan ? Ya da kendim mi bulup böyle robots.txt deki gibi ekleyecem ?

List of User-Agents (Spiders, Robots, Browser) işinizi görür sanırım