bir kaç yöntem daha var onları da paylaşayım sonra siz araştırmanızı buna göre derinleştirin hocam

ilk olarak httaccesse bu tarz bir yapı ekleyebilirsiniz, bunu önceeden kullanmışım, bir araştırın hala geçerli mi bilmiyorum

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SEMrushBot [NC]
RewriteRule .* - [F,L]
</IfModule>

ayrı olarak cloudflare kurun sitenize, oradan da bazı ayarlar vardı diye hatırlıyorum