IP bloğu olması muhtemel.
Yine de şu iki kuralı Robots.txt dosyanıza ekleyerek bir deneme yapın.
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
Allow: /
Eğer olmazsa, şu IP adreslerinin karalisteden çıkarılmasını hosting sağlayıcınızdan talep edin:
54.36.148.0/24
54.36.149.0/24
195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24
51.222.253.0/26
hocam bu robot.txt dosyasına nereden gırebılırım