Yazılımla yapılabilir.

Şöyle açıklayayım, Java'da LinkedHashSet veri yapısını kullanırsınız, bu sırayı bozmayan HashSet yapısıdır, HashSet ise aynı datadan 2 tane olmasına izin vermez Set yani küme olduğu için. Öncelikle text dosyası okunur ve tüm satırlar LinkedHashSet'e atılır, sonrasında LinkedHashSet'ten veriler okunarak geri text dosyasına yazılır. Bu kadar.
100.000 satır diyorsanız ne kadar sürer emin değilim tabi.

Edit: İlk aklıma gelen örneği verdim, Java kullandığım için genelde, Java'da verdim örneği, diğer dillerde de mümkündür tabiki.