Robots.txt dosyasından engelleyebilirsiniz.