htaccess için bkz SetEnvIfNoCase User-Agent
robots.txt saygımız var deselerde umursamazlar. ip bulup engellemek en garantisi.
https://udger.com/resources/ua-list/...bot=SEMrushBot https://udger.com/resources/ua-list/...?bot=AhrefsBot https://botcrawl.com/ahrefsbot/
Şurada bir makale buldum htaccess ile engelleniyor büyük ihtimal ikisini birlikte kullanımı nasıl oluyor bilmiyorum.
RewriteEngine On
RewriteCond %{REQUEST_URI} !/robots.txt$
RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteRule ^.*.*
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BLEXBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC]
RewriteRule ^.* - [F,L]