5 milyon sayıdan oluşan bir dosya hazırladım aşağıdaki kod 5-6 saniye içinde aldı bütün verileri. Listeyi ne yapacaksın tam bilmiyorum sıralma vs. gibi bir işlem uyguluyorsan sayı arttırkça programın çalışma süreci çok artabilir belki, dosyayı okuyordur ama gecikme başka yerden kaynaklanıyor olabilir.. Ayrı bir py dosyasında sadece dosyadan verileri listeye atmam denenebilir belki.

tt = []
fo = open('veri.txt', 'r')
for line in fo:
    tt.append(line)
print(tt[1])
print(tt[1000000])
print(tt[4000000])
fo.close()