iyide zaten robots.txt dosyası neden oluşturulur biliyormusun? (biliyorsun ama kabaca)
Ben net açıklılayım...
Şimdi Nette Linki Olmayan Hiç Bir Şeyi Hiç Bot (Robot) İndexlemez. (yada istek edilmediği sürece google.com/addurl gibi)

Sen kalkıp sitenin anasayfasına yada 2. kişilerin gorduğu sayfayalara admin panelinin linkini verirsen tabiiki botlar indexleyecek. sende indexlememesi için robots.txt yazacaksın. bu sayede siten.com/robots.txt yazarak herkes gorebilecek senin admin yada diğer klasorlerini...

Yapacağın tek şey sayfalarında admin linki verme ve vermediğin içinde robots.txt yede yazmak zorunda kalmayacaksın.

kolay gelsin.