90 gb lık txt dosyası var, dosya içerisinde aynı kelimeler var, ben her kelime yalnızca bir kez geçsin istiyorum çok şey denedim her seferinde memory hatası aldım 90 gblık dosyaya ram yetmiyor

python kodlarından en son yazdığım bu oldu. Linux python farketmez herhangi bir şekilde çözümü olan var mı bu python kodu aynı şeyleri ekliyor, eklememsi gerekirken nerede hata yaptığımıda bilmiyorum

not: başta hash falan filan yoktu aynı şeyleri ekliyor diye denemeler yaptımda böyle oldu

def uniqteVarmi(kelime):
c = open("C:dosyamozamanhash.txt", errors="ignore")
varmi = "yok"
for a, b in enumerate(c):
if str(hash(str(b).replace("n",""))) == str(hash(str(kelime).replace("n", ""))):
varmi = "var"
c.close()
return varmi
c.close()
return varmi

f = open("F:90gblikdosya.txt",errors="ignore")
for i, line in enumerate(f):
if str(uniqteVarmi(str(line).replace("n","")) == "yok"):
infilem = open("C:dosyamozaman.txt", 'a')
infilem.write(str(line).replace("n","") +"n")
infilem.close()

infilem = open("C:dosyamozamanhash.txt", 'a')
infilem.write(str(hash(str(line).replace("n",""))) +"n")
infilem.close()