ben sna nasıl oluşturacağını öğreteyim kendin yap daha faydalı olur;

Robots dosyası arama motorlarına neyi tarasın, indexlesin neyi yapmasın diye belirtmek içindir.

taramak istemediklerini

Disallow: yazıp o sayfaları belirt ( mesela aynı içeriğe sahip sayfaları, giriş sayfaları vs vs düşük içerikli önemsiz sayfaları)Allow: ise hangisini indexlesin istersen yapmak için. Yukarıda disallow dediğinden geri kalan tümünü indexlesin diyorsan * işareti kullanabilirsin.