Verdiğiniz örnekten bahsediyorum.Yasaklamışsınız derken yasaklıdığı yerler var,ve bunları yasaklaması güvenlik ve seo açısından önemli.Siz hemen sil demişsiniz,hata burda.

Arkadaşın verdiği örnekte tek gereksiz kod allow komutudur.Botlar zaten indeksler.Allow demek işgüzarlığa kaçar.