çok uzun sürebilir. bir veri için bir milyar datayı kontrol etmek mi yoksa bir veri için sürekli artan bir datayı kontrol etmek mi? Tabii ki ikinci. Sürekli bir milyar arasında aramaktansa eklemeden önce araması çok daha performanslı olacaktır.

Ya da hiç insert yapmadan python gibi alternatif bir dil kullanarak bu veri içerisindeki tekrar edenleri silebilirsiniz. Yükü php ve mysqlden almış olursunuz. Çok daha verimli.

bkz: https://stackoverflow.com/questions/...large-datasets