<meta name="robots" content="noindex,follow"/>
bu şekilde yaparsanız indexlemez ama tarar. ben bi bot sitemde bu şekilde kullanıyorum gayet kullanışlı tavsi ederim.