robot.txt dosyası oluşturarak yapabilirsin.