Robots.txt ile engelleyebilirsiniz.