robots.txt dosyası oluşturarak yapabilirsiniz.