Python kullanarak bu dosyayı okuyabilir, tekrar eden satırları bir sözlük veya küme veri yapısında saklayabilir ve ardından dosyayı tekrar yazabilirsiniz. Tekrar eden öğeleri bir kez yazmak için bir döngü kullanabilirsiniz.

with open('dosya.txt', 'r') as dosya:
    satirlar = dosya.readlines()

tekrar_edenler = set()
with open('yeni_dosya.txt', 'w') as yeni_dosya:
    for satir in satirlar:
        if satir not in tekrar_edenler:
            yeni_dosya.write(satir)
            tekrar_edenler.add(satir)

Ya da linux kullanıyorsanız

sort

ve

uniq

gibi komutlar kullanabilirsiniz.

sort dosya.txt | uniq > yeni_dosya.txt