milyonlarca veri nasıl hızlı sorgulanıp kaydedilir

arkadaşlar merhaba,

türkiye geneli il ilçe mahalle sokak kapıno ve iç kapı no olmak üzere bir veri çekiyorum.

işlem böyle yürüyor şuan.

ilçeleri kaydet
ilçenin mahallelerini kaydet
mahallenin sokaklarını kaydet
sokakların kapınumaralarını kaydet
kapınumaralarının iç kapınumaralarını kaydet

veritabanının ilçe tablosundan ilçe kodunu alıp ilgili siteye gönderip verileri curl ile çekiyorum ve çıkan sonuçlar ı mahalle tablosuna kaydediyorum bu sonuçlar bazen az bazen ise binlerce olabiliyor.

her veri çekme işlemi tek tek yapılıyor ve o ilçenin işlemi bittiyse tablodaki durum alanına tamamlandı olarak güncelliyor ve sayfayı yenileyip diğer veriye geçiyor

php ile istediğim gibi verileri çekiyorum ama çok yavaş.

bunu hızlandırmanın bir yolu var mı acaba .

bende arıyorum böyle sorgu yapacak bir sistem ++

elimde 8 gb lık sql var

bloomfilter

Veri tabanının boyutu nedir?

boyutu belli değil. kaç satır veri var bilinmiyor. verileri çekip kaydettikte boyutu belli olacak.

şuan gaziantep ile başladım işleme ilçe mahalle sokaklar ı çekti dış kapınoları kaydediyor şuan 500 bin kayıtı geçti şuan

Siz dump mı yapıyorsunuz? Anlamadım ki
Karşıdaki veri tabanının boyutunu bilirsek
5v 4v 3v ye göre teknoloji tavsiyesinde bulunuruz.

karşı tarafı bilmiyorum

karsisteadi.com/api/v1/address/districts/35

35 yapınca izmir in ilçelerini döküyor misal json olarak.



[{"code":1128,"name":"ALİAĞA"},{"code":2006,"name": "BALÇOVA"},{"code":1178,"name":"BAYINDIR"},{"code" :2056,"name":"BAYRAKLI"},{"code":1181,"name":"BERG AMA"},{"code":1776,"name":"BEYDAĞ"},{"code":1203," name":"BORNOVA"},{"code":1780,"name":"BUCA"},{"cod e":1251,"name":"ÇEŞME"},{"code":2007,"name":"ÇİĞLİ "},{"code":1280,"name":"DİKİLİ"},{"code":1334,"nam e":"FOÇA"},{"code":2009,"name":"GAZİEMİR"},{"code" :2018,"name":"GÜZELBAHÇE"},{"code":2057,"name":"KA RABAĞLAR"},{"code":1432,"name":"KARABURUN"},{"code ":1448,"name":"KARŞIYAKA"},{"code":1461,"name":"KE MALPAŞA"},{"code":1467,"name":"KINIK"},{"code":147 7,"name":"KİRAZ"},{"code":1819,"name":"KONAK"},{"c ode":1826,"name":"MENDERES"},{"code":1521,"name":" MENEMEN"},{"code":2013,"name":"NARLIDERE"},{"code" :1563,"name":"ÖDEMİŞ"},{"code":1611,"name":"SEFERİ HİSAR"},{"code":1612,"name":"SELÇUK"},{"code":1677 ,"name":"TİRE"},{"code":1682,"name":"TORBALI"},{"c ode":1703,"name":"URLA"}]