robots.txt dosyası ile yapılabiliyor bildigim kadarıyla ama nasıl yapıldıgı konusunda bir bilgim yok.Araştırırsan bulabilirsin.