merhaba arkadaşlar, aldığım linklerin ahrefs,semrush gibi araçlar da gözükmemesini istiyorum. İnternetten araştırdığım kadarıyla robotxtxt de engellememin yeterli olduğunu söylüyor. Ahrefs gibi seo araçlarının aldığım linkleri görmemesi için yeterli mi acaba ? yoksa link aldığım site de aynı şekilde ahrefs botlarını engellemeli ? Zaman ayırıp cevap yazacak herkese şimdiden teşekkür ederim.
Ne kadarda engellemeye çalışsanız da ne yazık ki şöyle bir durum var Google Bot imitasyonları ile crawler ediliyor internet bağlantıları. Robot.txt dosyasından ahrefs, semrush ve özellikle moz çok agresif ancak engellemek için IP aralıklarını tespit edip engelleyebilirsiniz.