Robots.txt'den disallow edilebilir ancak çoğu tool içinde do not respect for robots.txt özelliği mevcut. Ekstra waf üzerinden de engelleme yapılabilir. Bunlar temel olarak uygulanabilir ancak iyi bir el'den kaçış olduğunu sanmıyorum. Manuel denetimler ile her şey ortaya çıkar
Selamlar katkılarınız için teşekkürler. Evet Robots kesin çözüm değil, hatta orada engellenmeyen bir araç ile de hızlıca üstesinden gelinebilecek bir yöntem. İkinci basit sayılabilecek yöntem htaccess, burada da gene az bilinen araçlar çözüm sağlayacaktır, her ne kadar engellenen araçlar kolayca görülemese de. Sonuncu ise CF gibi servisler kullanmak. Bu etkili bir çözüm, en azından rakibin hem bilgili hem obsesif olması lazım bazı verileri elde etmesi için
