Robots.txt ile kötü botları engelleyebilirsiniz. Kendi sitemde de kullandığım listeyi aşağıdaki makalede bulabilirsin.
https://www.kukumav.net/blog/robots-txt-olusturma/