Okuduğum bir yazıya göre msnbot robots.txt dosyasına önem veriomuş. oluşturması da öyle zor bişi değil zaten. web sayfaların kodları için harcadığımız zamana bakınca bu çok basit bir iş.

örnek robots.txt dosyaları:
http://www.google.com/robots.txt
http://www.microsoft.com/robots.txt
http://www.publish101.com/robots.txt (bu o okuduğum yazıda geçen site)

bu araç ile de dosyaların doğruluğunu kontrol edebilirsin:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi