Robots.txt den ayarlayabilirsin aşağıdaki linkte detaylı anlatmış

https://developers.google.com/search...our-page?hl=tr