email ve şifre için index ekleyebilirsiniz. Insert işlemini biraz uzatır ama select tarafında büyük performans sağlar.
Teşekkür ederim hocam, birde konuda bahsetmemişim bir sorum daha olacak, Verilerin kaydını yaparken ne var ne yok ise olduğu gibi yüklesem. Daha sonra veritabanında bir sorgu çalıştırarak tekrar eden mail;pass ve user;pass verilerini buldurup silmemiz mümkün mü? Örneğin 150.000.000 adet veriden 34.000.000 adeti tekrar girilmiş bunları tespit edip silmesi ne kadar uzun sürebilir.
Metin dosyasında aynı içerik kontrolu yapılabilirmi eklenmeden önce.
Farklı farklı metin dosyaları var ise durum değişir.
Yada farklı bir sunucuda kontrol işlemi gerçekleştirilip yeni bir metin dosyasına yazdırılıp oradan veri ekleme yapılabilir.
Sadece fikir belirtmek istedim nasıl yapılacagı hakkında bir bilgim bulunmamaktadır.
Teşekkür ederim hocam, Metin dosyalarında aynı verilerin tekrar edilmesinin önüne geçebiliyorum fakat son yaptığım kontrolde metin dosyasında 23.000.000 satır veri vardı bunların tekrarlarını temizlerken bile Notepad++ hafiften kafayı yiyor bazen kapanıyor. Bir şekilde metin dosyasının içindeki kontrolü hallediyorum fakat ilerde şöyle bir durum oluşacak.
- Metin dosyası 1 için kontrol ettim tekrar veriler silindi ve yüklemeyi yaptım, buraya kadar herşey güzel.
- Diğer gün metin dosyası 2 yi kendi içinde kontrol ettim ve yüklemeyi yaptım, burada sorun başlıyor.
İki dosyada da 20 Milyon veri olduğunu düşünürsek Metin dosyası 1 ve Metin dosyası 2 nin içinde tekrarlanan veriler olması çok büyük bir olasılık iki dosyanın boyutuda çok büyük olduğu için karşılaştırıp tekrar silme işlemi yaptırabileceğimi zannetmiyorum. Vim gibi editörlerde bir yerden sonra sorun yaratacaktır.