Estağfurullah herkes bildiğini paylaşıyor işte. robots.txt dosyana şu satırları eklersen hiç bir robot gelmez

User-Agent: *
Disallow: /page/

Google gibi getir olayıda özetle googleın sayfanı çabuk indexlemesini sağlar. Dizine ekler. Artı olarakda bir dizine erişim izni var mı yok mu onu kontrol eder.