bazı botlar laf anlamaz oluyo haklısın robots.txt dosyasına Crawl-delay: 10 ifadesini ekle. Bundan sonra pek çöreklenmezler. gelirlerse de geldikleri gibi giderler