Cevabın için teşekkürler @webkit
robots.txt aynı belirttiğin şekilde zaten.