arvensan adlı üyeden alıntı: mesajı görüntüle
Merhabalar arkadaşlar,

PHP ile kendime bir e-ticaret sitesi oluşturuyorum. Netsis üzerinden veri çekiyorum json olarak ve gelen bu veriyi veritabanıma kaydettiriyorum. buraya kadar sorun yok. Kayıtlı 120 bin ürün var şimdi limit vererek 1000 tane çek tamamlayınca 2. sayfaya geç 1000 daha geç diye manuel yaptım 120 bin ürün bitmiyor bitmezde sürekli sürekli bununla kimse uğraşmaz. Var mıdır acaba farklı bir yolu alternatifi. limit alanına 120 bin girince zaman aşımı yapıyor zaten.

$kac_veri_gelecek=1000;
$kac_sayfa_gelecek = 1; //

yukarıda mantık hangi sayfada kaç veri listeletsin.
Örnek istek sorgum. $url2 = "http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=".$kac_veri_gelecek."&offset=".$kac_sa yfa_gelecek;

Bundan sonra gelen veriyi foreach alıp mysqli ile veritabanına kaydediyorum.

Ben bu 120 bin ürünü sürekli yani en azından haftada bir kere güncellemem gerekecek fiyatlar değişiyor çünkü. ama bırak güncellemeyi daha ürünü ekleyemedim bile
Xml yapısını bilmiyorum fakat şu mantıktan yola çıkıp ilerleyebilirsiniz.
Json response veren url size limit ve sayfa seçeneği sunuyorsa eğer şu şekilde yapabilirsiniz.

$sayfa = 1;
if(isset($_GET["sayfa"]) == true) $sayfa = $_GET["sayfa"];
$response = curl('http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=1000&offset='.$sayfa);
if(eğer veri gelsiyse işleme devam et) {//burada veri gelmediği durumda bir error parametresi varsa onu kontrol edebilirsin
foreach($response as $item) {
//buradaki işlemlere tamamen sizde
}
$sayfa = $sayfa + 1;

//aşağıda ki işlem veriyi foreach ile çektikten sonra ikinci sayfa için sayfayı 10 saniye sonra yeniler.
//sayfa $_get değerinde yeni sayfa değerini gönderir.
echo '<meta http-equiv="refresh" content="10;url=http://bu-yazilimin-calistigi-sayfa/index.php?sayfa='.$sayfa" /> ';
}

kabaca bu mantıktan ilerleyebilirsin.