Merhaba;

robot.txt de sayfa indexlemede yol gösterici bir etkendir. Siz botun (spider) işini kolaylaştırısanız o da sizin işinizi kolaylaştıracak bunu reel hayattaki bir örnekle açıklayalım

Arabamızı aldık bi yurtdışı seheyatine gidiyoruz hiç bilmediğimiz yollar var oda ne iki yol çıktı önüne şimdi hangisine gitse iyti olur hangisi yolu kısaltır oysaki yanın da yolları bilen biri olsa idi bunların hiç biri olmuyacaktı

Bilen biri = robot.txt oluyor işte botlara(spider) yol gösterici hatat sitemapa destek verebiliriz bu yöntem ile

Yararları: Optimizasyonu botlar a bırakmış olmazsınız kendiniz yapmış olursunuz o site sizin çünki
Optimizasyonda bir adım ileri olursunuz
Zararları (varsayım): robot.txt dosyasında yapacağınız yanlış anti-sayfa indexi olarak size geri döner