Robots.txt'den disallow edilebilir ancak çoğu tool içinde do not respect for robots.txt özelliği mevcut. Ekstra waf üzerinden de engelleme yapılabilir. Bunlar temel olarak uygulanabilir ancak iyi bir el'den kaçış olduğunu sanmıyorum. Manuel denetimler ile her şey ortaya çıkar