merhabalar
aynı sorunu birkaç gündür bende yaşıyorum
bunu robots.txt'den nasıl engellerim acaba?
örnek ziyaretçi şu şekilde.
Edit : Sorunu şimdilik analitik üzerinden Filtre uygulayarak çözdüm. Eğer bu yönde trafik gelirse farklı adresleri de ekleyeceğiz gibi
Örnek bir engelleme linki bırakıyorum. Bu örnek Ahrefs botları için. Size gelen spam botlarının ip'lerini ya da bot user agent'larını tespit edip aşağıdaki linkte verilen örnekteki gibi engelleyebilirsiniz;
https://botcrawl.com/ahrefsbot/