Mysql Hızlı İnsert İşlemi

Question

i7 6800 işlemci
samsung pro 970 m2 disk
32 GB 3000 MHZ ram

bu pcde postgresqlden bulunan 10 milyon kaydı mysql'e aktarmak çok uzun sürüyor
sorguda bir koşul yok yani sql'i yavaşlatacak bir sorgu değil, direk psql'den al mysql'e kaydet şeklinde.
psql'den  > mysql'e daha hızlı nasıl aktarım yapabilirim?

toplamda 300 milyon kayıt var. böyle giderse sanırım 20 gün sürecek :S

hesapadim · Answer

öncelikle Allah kurtarsın diyorum 
ne kadar uzun sürüyor? her satırı tek tek insert ile mi veriyorsunuz? öyleyse birden fazla satırı tek insertte vermeyi deneyin
mümkünse load data kullanın
zorunlu değilse psql kullanmaya devam edin derim

profweb · Answer

SQL dosyası boyutunu biliyor musunuz, direk dönüştürme işlemi yaptırmak daha mantıklı.

ByTriSLaSiS · Answer

hesapadim adlı üyeden alıntı:						mesajı görüntüle									öncelikle Allah kurtarsın diyorum 
ne kadar uzun sürüyor? her satırı tek tek insert ile mi veriyorsunuz? öyleyse birden fazla satırı tek insertte vermeyi deneyin
mümkünse load data kullanın
zorunlu değilse psql kullanmaya devam edin derim 		
1 saatte 1 milyon'a yakın ekleme yapıyor :S
aslında birden fazla satırı redis ile işlemeyi düşündüm.
inanın psql ile devam etmeyi düşünüyorum :S

profweb adlı üyeden alıntı:						mesajı görüntüle									SQL dosyası boyutunu biliyor musunuz, direk dönüştürme işlemi yaptırmak daha mantıklı. 		37 GB boyutu var
fakat dönüştürme yapabilecek program bulamadım bir tane buldum ücreti yüksek geldi.

edit:
35 dakikada 450.000 kayıt atmış.

hesapadim · Answer

ByTriSLaSiS adlı üyeden alıntı:						mesajı görüntüle									1 saatte 1 milyon'a yakın ekleme yapıyor :S
aslında birden fazla satırı redis ile işlemeyi düşündüm.
inanın psql ile devam etmeyi düşünüyorum :S

37 GB boyutu var
fakat dönüştürme yapabilecek program bulamadım bir tane buldum ücreti yüksek geldi.

edit:
35 dakikada 450.000 kayıt atmış. 		saniyede 50 bin e kadar yazabildiğini söylüyor benchmarklar, tek tek mi insert ediyorsunuz?

ByTriSLaSiS · Answer

hesapadim adlı üyeden alıntı:						mesajı görüntüle									saniyede 50 bin e kadar yazabildiğini söylüyor benchmarklar, tek tek mi insert ediyorsunuz? 		Evet tek tek yapıyorum 
Sanırım toplu işlem için düzenlemek gerekiyor bugün bunu deneyeceğim

ByTriSLaSiS · Answer

laravel model insert ile çözdüm olayı arkadaşlar.
yardım etmeye çalışan arkadaşlara teşekkür ederim.