Kötü niyetli bot'lari engelle kısmını .htaacess e alabiliriz, robots.txt çok uzuyor ve bazen dosya uzun hataları veriyor google tool.