Bazıları gereksiz gibi görebiliyor ama Arama motorları için gerçekten büyük önemi olan bir dosyadır. WebmasterWorld bu dosya için kocaman bölüm açmış robots.txt: ne kadar önemi olduğu buradan belli oluyodur sanırım