robots.txt'ten yapılabilir sanırım. siz yinede bir araştırın.