Akilliphone'ye neden bu kadar yüklendiğinizi anlamadım. Adamın yazdıklarında hatalı bir şey yok. Dışarıdan link engellemiyor kendi sitesinde olan kırık linkleri arama motoru indexlemesin diye engelliyor. Doğal olarak kırık link olmayınca sıralamada olumlu sonuç aldığını paylaşmış. robots.txt de http:// kullanılmaz diye bişey yok site haritasını bu şekilde bildiriyorsun arama motoruna, bu onun için kolaylık.

Boş bir tartışmaya dönmüş konu, bilgiler yeterli tartışma için bence kilit...