robots.txt bunun için var. forumda arama yapabilirsin..