Robots.txt den disallow da yaparsan olur o bot için diye düşünüyorum.