ahrefs ya da semrush botları robots.txt kurallarına uyar fakat misal siz robots.txt ye sonradan eklerseniz bu engellemeyi direkt bu kurala uymaz çünkü kendi önbelleğinde izin verdiğinizi varsayarak işlemi yapar bir süre sonra tekrar kontrol ederse kurala uyar.

php ile gethostbyaddr() ve preg match vs. kullanarak engelleyebilirsiniz.

Tabi bu araçları sadece siteye sokmaya engellemeye yarar misal semrush yine arama sonuçlarına bakarak puanlama ya da diğer sitelerden alınan backlinkleri vs. görüp analizini yapar.