http://www.robotstxt.org/robotstxt.html

User-agent: *
Disallow: /

ilk satır: User-agent (yani gelen bot) ne olursa olsun demektir
Disallow: / satırı ise ilk satırla birleşirse "hangi bot gelirse gelsin, bu siteyi indexlemeden git" demektir.

edit: http://tr.wikipedia.org/wiki/Robot_e...standard%C4%B1
detaylı türkçe bilgi