robots.txt ile engelleme sağlanabilir..
Birde ŞURAYI okumanızı öneririm.