Diğer arama motorları konusunda haklısınız. Fakat robots.txt ulaşılmaz olmasını istediğiniz sayfa veya klasörleri arama motorların index almasını engellemek için kullanılır. Yoksa googleda indexlerinizi ararken, "site:siteadi.com gibi"

Size en alakalı sonuçların gösterilmesi için yukarıda görüntülenen 6 sonuca benzer bazı girişler çıkarıldı.
İsterseniz, aramayı çıkarılan sonuçlarla birlikte tekrarlayabilirsiniz.

Bu şekilde sonuç alacaksınız. Robots.txt ile arama motorlarından sitenize ulaşmak isteyen kullanıcılara ve arama motorlarında sıralanan sayfaları gizlemiş oluyorsunuz. Dikkat ederseniz, Arama motorlarına değil(!) Botlar gene o içeriklere ulaşacaktır, gene o içerikleri index alacaktır. Fakat sorun google dışındaki arama motorlarındaki index alınmış sayfaları kaldırtmak ise, tıpkı googleda yaptığınız gibi URL kaldırma işlemini yapabilirsiniz. Zaten kırık linklere 404 sayfası döndermediğinizi düşünmüyorum, o yüzden robots.txt yi bu şekilde kullanmak mantıklı değil.