Merhaba gua, robots.txt nerdeyse hiç önemli olmayan bir dosyadır.
ASP,PHP veya bilmem ne ile uzaktan yakından alakası yok, robots.txt adından da anlaşılabileceği gibi arama robotları için bir dosya.

Arama robotu ilk önce geliyor sitene dosyaları indexlemek için, sonra diyor belki bunun gizli saklı,ab-ı hayat veya dünyayı kurtaracak bilgileri vardır, onları indexlememi istemiyordur, e o zaman root içine attığı robots.txt dosyasına şunları yazmıştır.Bakayım hemen der ve

User-agent: *
Disallow: /nasil-zengin-olur/
Disallow: /genclik-iksiri/

bunları görür, e o zaman ben de bu iki klasörü arama sonuçların da göstermiyeyim çünkü istemiyor der.
Bu kadar.