Hocam robots.txt ile bunu nasıl yapabileceğimi eğer biliyorsanız ve rica edersem söyleyebilir misiniz? Ayrıca google gibi getir deyince acaba tam olarak ne yapmış oluyoruz? Cahilliğimi mazur görün lütfen..
Estağfurullah herkes bildiğini paylaşıyor işte. robots.txt dosyana şu satırları eklersen hiç bir robot gelmez
User-Agent: *
Disallow: /page/
Google gibi getir olayıda özetle googleın sayfanı çabuk indexlemesini sağlar. Dizine ekler. Artı olarakda bir dizine erişim izni var mı yok mu onu kontrol eder.