Mail sütunu için, tablonuzda unique index oluşturun.
Insert işleminde aynı kayıt varsa duplicate entry mesajı döndürür ve eklenmesini engeller.
Mesajı verirse işlem durur bu yüzden ignore parametresini insert sorgunuza ekleyin böylece bu içerik var dese bile diğer insert işlemine devam eder
Unique index oluşturma
https://www.mysqltutorial.org/mysql-unique/
Insert ignore kullanım örneği
https://www.mysqltutorial.org/mysql-insert-ignore/
Ayrıca insert işlemini tek tek değil multiple insert olarak yaparsanız dahada hızlandıracaksınız.
https://www.sqlservertutorial.net/sq...multiple-rows/
Milyarlık kayıttan bahsettiniz index için ram ihtiyacınız olacaktır
Ayrıca db partition ilede veritabanını bölümlendirerek daha hızlı insert işlemleri yapabilirsiniz.
Günün sonunda tüm bunların yanında cpu ve ram donanımınızda hız konusunda etkendir.