120 bin ürünü PHP JSON ile Nasıl Çekebilirim?

Question

Merhabalar arkadaşlar,

PHP ile kendime bir e-ticaret sitesi oluşturuyorum. Netsis üzerinden veri çekiyorum json olarak ve gelen bu veriyi veritabanıma kaydettiriyorum. buraya kadar sorun yok. Kayıtlı 120 bin ürün var  şimdi limit vererek 1000 tane çek tamamlayınca 2. sayfaya geç 1000 daha geç diye manuel yaptım 120 bin ürün bitmiyor bitmezde sürekli sürekli bununla kimse uğraşmaz. Var mıdır acaba farklı bir yolu alternatifi. limit alanına 120 bin girince zaman aşımı yapıyor zaten.

$kac_veri_gelecek=1000;
$kac_sayfa_gelecek = 1; //

yukarıda mantık hangi sayfada kaç veri listeletsin.
Örnek istek sorgum. $url2 = "http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=".$kac_veri_gelecek."&offset=".$kac_sa yfa_gelecek;

Bundan sonra gelen veriyi foreach alıp mysqli ile veritabanına kaydediyorum.

Ben bu 120 bin ürünü sürekli yani en azından haftada bir kere güncellemem gerekecek fiyatlar değişiyor çünkü. ama bırak güncellemeyi daha ürünü ekleyemedim bile

muglali20 · Answer

Karşı taraftan limitli olarak veri çekebiliyor musun 						arvensan adlı üyeden alıntı:						mesajı görüntüle									Merhabalar arkadaşlar,

PHP ile kendime bir e-ticaret sitesi oluşturuyorum. Netsis üzerinden veri çekiyorum json olarak ve gelen bu veriyi veritabanıma kaydettiriyorum. buraya kadar sorun yok. Kayıtlı 120 bin ürün var  şimdi limit vererek 1000 tane çek tamamlayınca 2. sayfaya geç 1000 daha geç diye manuel yaptım 120 bin ürün bitmiyor bitmezde sürekli sürekli bununla kimse uğraşmaz. Var mıdır acaba farklı bir yolu alternatifi. limit alanına 120 bin girince zaman aşımı yapıyor zaten.

$kac_veri_gelecek=1000;
$kac_sayfa_gelecek = 1; //

yukarıda mantık hangi sayfada kaç veri listeletsin.
Örnek istek sorgum. $url2 = "http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=".$kac_veri_gelecek."&offset=".$kac_sa yfa_gelecek;

Bundan sonra gelen veriyi foreach alıp mysqli ile veritabanına kaydediyorum.

Ben bu 120 bin ürünü sürekli yani en azından haftada bir kere güncellemem gerekecek fiyatlar değişiyor çünkü. ama bırak güncellemeyi daha ürünü ekleyemedim bile

zamedya · Answer

Merhabalar hocam, Cronjob tanımlayın hergün çeksin 24 saate yayın rahatlıkla günceller, 15 dakikada bir çalıştırın 1250 veri çeksin,  saatlik 5.000 veri güncellersiniz. Günlük 120.000 veri anlamına gelir. Sistemde zorlanmaz her şey otomatik olmuş olur

arvensan · Answer

muglali20 adlı üyeden alıntı:						mesajı görüntüle									Karşı taraftan limitli olarak veri çekebiliyor musun 		Evet hocam yukarıda kodda da belirttim gibi limit dediğimde orada 1000 girersem 1000 adet veri geliyor ve 1000 adet veriyi çekmiş oluyorum.

Hatta ekrana bir form koydum 1000 yazıyorum sayfaya 1 yazıyorum 1000 taneyi çekiyor bitiriyor 1000 daha yazıyorum sayfayı 2 yazıyorum 2. sayfa 1000 getriiyor öyle öyle yüklemeye çalıştım 12000 ürün olunca bıraktım yeter dedim

radyotv · Answer

Bu kadar yüksek veriyi işlemek için her zaman network bağlantısından kaçının.

Önerim, veriyi yekpare excel dosyasına alıp, dosyayı SQL e convert edip tek seferde import etmeniz. Benzer yöntemlerle milyon veriyi defalarca aktardık.

muglali20 · Answer

O zaman Ajax ile sayfa yap 1. Safyayi çekip guncellesi bitince 2.sayfaya geçsin böyle devam etsin sayfayip açıp bırakırsın o kendi sayfaları sırayla yapar  sayfa bitince durur en						arvensan adlı üyeden alıntı:						mesajı görüntüle									Evet hocam yukarıda kodda da belirttim gibi limit dediğimde orada 1000 girersem 1000 adet veri geliyor ve 1000 adet veriyi çekmiş oluyorum.

Hatta ekrana bir form koydum 1000 yazıyorum sayfaya 1 yazıyorum 1000 taneyi çekiyor bitiriyor 1000 daha yazıyorum sayfayı 2 yazıyorum 2. sayfa 1000 getriiyor öyle öyle yüklemeye çalıştım 12000 ürün olunca bıraktım yeter dedim

asabilisim · Answer

arvensan adlı üyeden alıntı:						mesajı görüntüle									Merhabalar arkadaşlar,

PHP ile kendime bir e-ticaret sitesi oluşturuyorum. Netsis üzerinden veri çekiyorum json olarak ve gelen bu veriyi veritabanıma kaydettiriyorum. buraya kadar sorun yok. Kayıtlı 120 bin ürün var  şimdi limit vererek 1000 tane çek tamamlayınca 2. sayfaya geç 1000 daha geç diye manuel yaptım 120 bin ürün bitmiyor bitmezde sürekli sürekli bununla kimse uğraşmaz. Var mıdır acaba farklı bir yolu alternatifi. limit alanına 120 bin girince zaman aşımı yapıyor zaten.

$kac_veri_gelecek=1000;
$kac_sayfa_gelecek = 1; //

yukarıda mantık hangi sayfada kaç veri listeletsin.
Örnek istek sorgum. $url2 = "http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=".$kac_veri_gelecek."&offset=".$kac_sa yfa_gelecek;

Bundan sonra gelen veriyi foreach alıp mysqli ile veritabanına kaydediyorum.

Ben bu 120 bin ürünü sürekli yani en azından haftada bir kere güncellemem gerekecek fiyatlar değişiyor çünkü. ama bırak güncellemeyi daha ürünü ekleyemedim bile  		Xml yapısını bilmiyorum fakat şu mantıktan yola çıkıp ilerleyebilirsiniz.
Json response veren url size limit ve sayfa seçeneği sunuyorsa eğer şu şekilde yapabilirsiniz.

$sayfa = 1;
if(isset($_GET["sayfa"]) == true) $sayfa = $_GET["sayfa"];
$response = curl('http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=1000&offset='.$sayfa);
if(eğer veri gelsiyse işleme devam et) {//burada veri gelmediği durumda bir error parametresi varsa onu kontrol edebilirsin
foreach($response as $item) {
//buradaki işlemlere tamamen sizde
}
$sayfa = $sayfa + 1;

//aşağıda ki işlem veriyi foreach ile çektikten sonra ikinci sayfa için sayfayı 10 saniye sonra yeniler.
//sayfa $_get değerinde yeni sayfa değerini gönderir.
echo '<meta http-equiv="refresh" content="10;url=http://bu-yazilimin-calistigi-sayfa/index.php?sayfa='.$sayfa" /> ';
}

kabaca bu mantıktan ilerleyebilirsin.

arvensan · Answer

radyotv adlı üyeden alıntı:						mesajı görüntüle									Bu kadar yüksek veriyi işlemek için her zaman network bağlantısından kaçının.

Önerim, veriyi yekpare excel dosyasına alıp, dosyayı SQL e convert edip tek seferde import etmeniz. Benzer yöntemlerle milyon veriyi defalarca aktardık. 		
Merhaba hocam burada excel convert derken biraz daha açar mısınız konuyu

profweb · Answer

Offset - Sayfa demek değildir, burada bir sorun yaşıyor olabilirsiniz.

radyotv · Answer

arvensan adlı üyeden alıntı: mesajı görüntüle

Evet hocam yukarıda kodda da belirttim gibi limit dediğimde orada 1000 girersem 1000 adet veri geliyor ve 1000 adet veriyi çekmiş oluyorum.

Hatta ekrana bir form koydum 1000 yazıyorum sayfaya 1 yazıyorum 1000 taneyi çekiyor bitiriyor 1000 daha yazıyorum sayfayı 2 yazıyorum 2. sayfa 1000 getriiyor öyle öyle yüklemeye çalıştım 12000 ürün olunca bıraktım yeter dedim

Problem yaşıyor olmanızın sebebi curl bağlantısı ile cpu ya yük bindirmeniz. her ne kadar sunucu önbelleğini ayarlasanızda siz curl bağlantısını açık tuttuğunuz sürece sağlıklı bir veri aktarımı olmayacak. Bu yüzden yüksek verilerde mutlaka network bağlantısından kaçının ve veriyi localden aktarın.

şuda bir yöntem. -> curl bağlantısını yapıp tüm verileri tek seferde çekip mysql komutlarını çalıştırmadan localde bir excel yada xml yada json veri dosyası oluşturup daha sonra bu oluşturduğunuz dosya üzerinden ilerleyip mysql komutlarınızı çalıştırırsanız yine sorun ortadan kalkar.

dev · Answer

arvensan adlı üyeden alıntı:						mesajı görüntüle									Merhabalar arkadaşlar,

PHP ile kendime bir e-ticaret sitesi oluşturuyorum. Netsis üzerinden veri çekiyorum json olarak ve gelen bu veriyi veritabanıma kaydettiriyorum. buraya kadar sorun yok. Kayıtlı 120 bin ürün var  şimdi limit vererek 1000 tane çek tamamlayınca 2. sayfaya geç 1000 daha geç diye manuel yaptım 120 bin ürün bitmiyor bitmezde sürekli sürekli bununla kimse uğraşmaz. Var mıdır acaba farklı bir yolu alternatifi. limit alanına 120 bin girince zaman aşımı yapıyor zaten.

$kac_veri_gelecek=1000;
$kac_sayfa_gelecek = 1; //

yukarıda mantık hangi sayfada kaç veri listeletsin.
Örnek istek sorgum. $url2 = "http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=".$kac_veri_gelecek."&offset=".$kac_sa yfa_gelecek;

Bundan sonra gelen veriyi foreach alıp mysqli ile veritabanına kaydediyorum.

Ben bu 120 bin ürünü sürekli yani en azından haftada bir kere güncellemem gerekecek fiyatlar değişiyor çünkü. ama bırak güncellemeyi daha ürünü ekleyemedim bile  		Stabil calismasi icin Queue kullanmanizi tavsiye ederim. " "http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=".$kac_veri_gelecek."&offset=".$kac_sa yfa_gelecek;" seklinde kullandiginiz url'i hazirlayip queue'ya atin.
Queue'daki verileri isleyecek bir tane php dosyani olsun. while(true) ile surekli queue'da bekleyen is var mi diye kontrol edin, eger var ise birer birer istek atip datalari islersenizi. Eger yok ise sleep atip beklersiniz. Bir de guzel bir loglama yaparsiniz patlayan islemleri kolay takip edersiniz. 
Dosyanin icinde while(true) kullanacaginiz icin sunucuya supervisor (http://supervisord.org/) kurarak gerekli dosyanin surekli calismasini saglayabilirsiniz.

arvensan · Answer

profweb adlı üyeden alıntı:						mesajı görüntüle									Offset - Sayfa demek değildir, burada bir sorun yaşıyor olabilirsiniz. 		Hocam adamlar offset belirlemiş bende şaşırdım ama malesef durum bu  ama orada bir sıkıntım yok

voL · Answer

Bir tablo olusturun, son cekilen data bilgileri diye

endpoint: http://netsis_sunucu_ipadresi_burada/api/v2/items
limit: 
offset:
created_at

Bu bilgileri her cronjob isteginde kaydedin. Her cronjob isteginde veritabanindan son veriyi cekip otomatik arttirip degerleri tekrar istek atarsiniz endpoint'e. Bu sayede her islem bitince php tarafindaki process de bitmis olur sunucu limitlerine takilmazsiniz eger sunucu size ait degilse.

ufukt51 · Answer

Aradan 1 ay geçmiş ancak aklıma gelen yöntemi paylaşmak istedim. curl ve cronjob ile web sunucusu çok yorulur diye düşünüyorum
Web sunucusu tarafında bir tane basit api oluşturun. api gelen post isteği veritabanında işleyecek kısım olarak kalsın.
netsis 'in kurulu olduğu taraf windows server.
netsis sunucusuna ya da windows server ile aynı ağda başka sıradan bir bilgisayarda olur. 1 adet masaüstü program netopenx ile netsis 'ten bilgileri alıp belirli aralıklarla sürekli api 'ye istek atsın.
api gelen isteği direk site veritabanınıza işlesin. ben genelde böyle yapıyorum. 
önemli olan netsis 'ten en son hangi bilgiyi çektiğiniz ve nereye işlediğiniz bunu tabiki de kısım kısım yaptırabilirsiniz.
windows programı tarafında stok kartı olarak 1000-2000 adeti order by update_date desc şeklinde limitli çekin ve web api ye gönderin.
netopenx ile çekim yaparken her çektiğiniz 1000-2000 her neyse stok kartına update_date alanını güncelleyin. sonraki sorgu da aktarım yapılanlar tekrar karşınıza çıkmasın.

arvensan · Answer

Arkadaşlar sorunu şöyle çözdüm belki ihtiyacı olan arkadaşlar faydalanır diye yazıyorum.
normalde mysqli kullanıyordum pdo bu konuda daha hızlı olduğunu öğrenmiş oldum. Pdo ile netsisten verileri çekiyorum aynı klasörde veri.sql diye dosya oluşturdum. Oraya insert komutu olarak yazdiriyorum. Böylelikle tüm veriler alt alta insert komutu oluyor 122 bin ürünün çekme işlemi ve o dosyaya yazdırmayı yaklaşık 12 saniye sürüyor. İşlem basariliysa bigdump var buyuk dosyaları yüklemek için bir eklenti tek bir PHP dosyası onu indirdim manuel olarak veri.sql dosyasını cagirmasini söyledim. Zaten otomatik yonlenince direkt onu baslatiyorum 3000 3000 veriyi yüklüyor. Ortalama 40 dakika sürüyor ama kopma vs yaşanmıyor güncelleme işlemi içinde aynı şekilde insert yerine updatr komutunu yazdırıp süreci devam ettiriyorum böylelikle tüm sorunlar çözülmüş oldu. Ne curl ile ne de diğer yöntemlerle sorun çözülmedi kopma yaşandı hep.

Not veriyi guncellerken veritabanında güncelleme diye bir alan olusturdum. SQL alanına da güncelleme 1 ise yap diye seçenek ekledim 0 olanlara işlemi geçiyor biraz daha hızlandı

Tüm arkadaşlara ilgilerinden dolayı teşekkür ederim