robots.txt ile bunu yapabilirsiniz örümcekleri engellersiniz ama bence zararı olur.