User-agent: AhrefsBot
Disallow: /

Komple kapatmadan delay uygulamak içinde ;

User-agent: AhrefsBot
Crawl-Delay: [value]