yazılımcılar yardım R10+

Merhaba , elimde yaklaşık 30000 satırlık bir dizi var (.txt dosyası içinde) ve bu dizinin içerisindeki çoğu değer birbirini tekrarlıyor.Ben bu tekrarlayan dizeleri nasıl birleştirebilirim acaba?

Örnek dizi:
A
B
C
B
A
C
B

Ben bu dizeleri nasıl tek birleştirebilirim acaba (Her birinden birer tane olmasını istiyorum) , konunun yazılımla pek bir alakası yok ama aklınıza gelen bir yöntem var mi acaba, simdiden yardımcı olan arkadaşlara teşekkürler

Python ile set yapısında çözülür

Python kullanarak bu dosyayı okuyabilir, tekrar eden satırları bir sözlük veya küme veri yapısında saklayabilir ve ardından dosyayı tekrar yazabilirsiniz. Tekrar eden öğeleri bir kez yazmak için bir döngü kullanabilirsiniz.

with open('dosya.txt', 'r') as dosya:
    satirlar = dosya.readlines()

tekrar_edenler = set()
with open('yeni_dosya.txt', 'w') as yeni_dosya:
    for satir in satirlar:
        if satir not in tekrar_edenler:
            yeni_dosya.write(satir)
            tekrar_edenler.add(satir)

Ya da linux kullanıyorsanız

sort

ve

uniq

gibi komutlar kullanabilirsiniz.

sort dosya.txt | uniq > yeni_dosya.txt

Dosyayı paylaşırsan ben bir bakayım istersen.

Önce excell e kopyalayın dosyayı , sonra yinelenenleri kaldır yapın.

En basit yol bu.

Notepad++ > Düzenle > Satır İşlemleri > Aynı Satırları Kaldır

Arkadaşlar hepinize teşekkürler, Excel ile çok kolay bir şekilde yapılıyormuş.