http://www.robotstxt.org/faq/prevent.html

Bu şekilde robots.txt dosyası oluşturabilirsin.