Robots.txt ile engelleyebilirsin.