Satırları listeye ekleyip, listenin içinde var mı kontrol etmek muhtemelen en iyi çözüm olacaktır. Ancak ek bilgi olarak python kullanman gerekmiyor ise notepad++ ile Düzen > Satır İşlemleri > Aynı Satırları Kaldır tuşunu kullanarak hızlıca halledebilirsin.