MSN, Bing, Semrush botları nasıl engellenir?

Bu botlar htaccess ile mi engellenebilir? Robots dostası ile mi? Evet ise kod nasıl olacak?

Analytic'te hergün ABD tarafında farklı İP'lerden giriş oluyor. Bu girişler 3-5 saniye içinde geri çıkıyor. Her geldiklerinde farklı sayfaya giriyorlar. Bing yada semrush botlarından şüpheleniyorum. Engelleyerek deneyeceğim.

https://github.com/jfqd/robots.txt/b...ter/robots.txt

İyi Çalışmalar.

Teşekkürler ama burda bing yok

2. Konu: Bunu robots dosyasının içine alt tarafa ilave edeceğiz değil mi?

@Civan;

User-agent: Bingbot
Disallow: /

Bunuda eklerseniz bingbot blocklanır Evet robots.txt dosyasına ekleyeceksiniz bu kodları.

edit: mention