Allow'un teknik olarak bir anlamı olduğunu düşünmüyorum.Diğer yandan disallow çok önemli.Botlara girme dediğiniz 2 yer var,diğer yerlere herhangi bir şey belirtmediğinizde otomatik girecektir.Yine sitemap url'sinin robot txt.te olup olmaması da çok fazla anlam ifade etmez.Ama faydalı olduğunu düşünenler var.Zaten google bir url'nin engellendiğini söylüyor.Soru işaretine bakıp o url'yi görebilirsiniz.

Sorunun robot.txt le alakalı olmadığını zaten siz de görebiliyorsunuz.

Ek olarak resimde site ismini gizleyip üstte açık bırakmışsınız.Üstü de kapatmak isteyebilirsiniz.