Ubuntu'da txt üzerindeki duplicate veriler nasıl temizlenir ?

Selamlar, ubuntu 22.04 sunucu üzerinde txt dosyalarım mevcut dosyalar kendi içlerinde duplicate veri barındırmıyor ama dosyalar birleştiğinde duplicate veri çıkıyor dosya boyutu büyük oldugu için pythonda hata alıyorum ve sunucuyu zorluyor internetten şöyle bir kod buldum sort eski_dosya.txt | uniq > temizlenmis_dosya.txt faydalı olur mu şu anda ayırıyor sanırsam ama emin olamadım sizlere sormak istedim teşekkürler.

evet alfabetik sıralar ve kopya satırları siler

hocam ilk bulduğum kodu denedim alfabetik sıralar derken bir problem olur mu alfabetik sıralaması veya alternatif bir kod varmı ?

duplicate kontrolü için alfabetik sıralaması gerekiyor sizin için sorun olmuyorsa sıkıntı yok