Nookta adlı üyeden alıntı: mesajı görüntüle
bunu


User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /private/

ve olmaz ise
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC]
RewriteRule .* - [F,L]
</IfModule>

bi deneyin bakalım
ikiside olmadı