Arkadaşlar Bana Baiudu Spideri Nasıl Engelleceğimi Söyleyebilir Misiniz??
Siteyi İstila Ediyor Ya Robot.txt'de engelledim yok yok geliyor
veya ben yanlış engelliyorum.
bazı botlar laf anlamaz oluyo haklısın robots.txt dosyasına Crawl-delay: 10 ifadesini ekle. Bundan sonra pek çöreklenmezler. gelirlerse de geldikleri gibi giderler
Robot.txt'de engelledim yok yok geliyor 