Botların normal mantığı takip etmektir.Takip eden bir bota allow vermek teorik olarak gereksizdir.
disallow yanında hiçbirşey belirtilmiyorsa bu hiçbirşeyi yasaklama anlamına gelir."/" ise anadizini gösterir url yolu olarak.Peki neden kullanıyoruz bu robot.txt'i.
A-Sitemizi arama botlarına açmamak için(google,yahoo v.b.)
B-Bazı indekslenmesini istemediğimiz yerlerin veya güvenlik-mahremiyet v.b. yerlerin diğer insanlar tarafından görülmesini engellemek için

Birçok lamer hackleyecek site ararken google arama motorunda arama yapıp açıkları bulmaya çalışır.Bunu engellemek için de robot.txt önemlidir.