User-agent: Ahrefsbot
Disallow:/

User-agent:Semrush-bot , semrushbot
Disallow:/


Bugüne kadar veritabanına işlenmiş linkleri engelleyemezsiniz yalnız. Semrush ve Moz da bot yapıları biraz daha değişik ve çok sayıda onların tamamı için ufak bir araştırma yapabilirsiniz ama genel format bu şekilde. Tabi sadece moz, ahrefs ve semrush ile bitmez şuanda çok sayıda bot var bunlara alternatif biraz meşankatli bir iş.