Merhaba , elimde yaklaşık 30000 satırlık bir dizi var (.txt dosyası içinde) ve bu dizinin içerisindeki çoğu değer birbirini tekrarlıyor.Ben bu tekrarlayan dizeleri nasıl birleştirebilirim acaba?

Örnek dizi:
A
B
C
B
A
C
B

Ben bu dizeleri nasıl tek birleştirebilirim acaba (Her birinden birer tane olmasını istiyorum) , konunun yazılımla pek bir alakası yok ama aklınıza gelen bir yöntem var mi acaba, simdiden yardımcı olan arkadaşlara teşekkürler