Yardım Aynı Karakter

Merhaba arkadaşlar ;

Elimde bir notepad++ içersinde olan 100.000 civarı bir yazı var her biri ortalama 50 harf ve bu şekilde satır satır listeliler. Şimdi bazıları aynı içeriğe sahip benim istediğim şu atıyorum " Merhaba " yazısından 100 tane var diyelim hepsini silecek yalnızca 1 tanesi kalacak . Bu kelimeler belli bir oranda değil karışık o yüzden şu kelimeyi yap demiyeceğim sadece 1'den fazla varsa diğerlerini silecek 1 tane bırakacak.

Yardımcı olanlara şimdiden teşekkür ederim.

Yazılımla yapılabilir.

Şöyle açıklayayım, Java'da LinkedHashSet veri yapısını kullanırsınız, bu sırayı bozmayan HashSet yapısıdır, HashSet ise aynı datadan 2 tane olmasına izin vermez Set yani küme olduğu için. Öncelikle text dosyası okunur ve tüm satırlar LinkedHashSet'e atılır, sonrasında LinkedHashSet'ten veriler okunarak geri text dosyasına yazılır. Bu kadar.
100.000 satır diyorsanız ne kadar sürer emin değilim tabi.

Edit: İlk aklıma gelen örneği verdim, Java kullandığım için genelde, Java'da verdim örneği, diğer dillerde de mümkündür tabiki.

http://textmechanic.com/Remove-Duplicate-Lines.html
http://textmechanic.com/Big-File-Too...ate-Lines.html

İş görmesi lazım.

Çözdüm arkadaşlar excelde böyle bir özellik varmış .