SEO uyumlu robots.txt dosyası oluşturma, kötü botları engellemek için ilgili makaleyi incelemenizi öneririm.
https://www.kukumav.net/blog/robots-txt-olusturma/