robots.txt üzerinden engelleyebilirsiniz.