robots.txt dosyasına ekleyebilirsiniz.