Birçok konu açıldı bununla ilgili. Forumda bir arama yaparsan sorunun cevabını bulabilirsin. robots.txt den arkadaşın dediği gibi halledebilirsin.