belli bir dizindeki dosyalrı indexlememesi için kullanabilirsin onu.

örnek:

http://www.iyinet.com/robots.txt - mesela /cgi-bin ve /images klosörünün indexlenmesini istememiş.

http://www.google.com/robots.txt - buda googlenin diğer arama motorlarından kendi dosyalarını saklıyor.