htaccess doyasından yada robot.txt dosyasından engelleyebilirsiniz.