Merhabalar arkadaşlar,
PHP ile kendime bir e-ticaret sitesi oluşturuyorum. Netsis üzerinden veri çekiyorum json olarak ve gelen bu veriyi veritabanıma kaydettiriyorum. buraya kadar sorun yok. Kayıtlı 120 bin ürün var
şimdi limit vererek 1000 tane çek tamamlayınca 2. sayfaya geç 1000 daha geç diye manuel yaptım 120 bin ürün bitmiyor bitmezde sürekli sürekli bununla kimse uğraşmaz. Var mıdır acaba farklı bir yolu alternatifi. limit alanına 120 bin girince zaman aşımı yapıyor zaten.
$kac_veri_gelecek=1000;
$kac_sayfa_gelecek = 1; //
yukarıda mantık hangi sayfada kaç veri listeletsin.
Örnek istek sorgum. $url2 = "http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=".$kac_veri_gelecek."&offset=".$kac_sa yfa_gelecek;
Bundan sonra gelen veriyi foreach alıp mysqli ile veritabanına kaydediyorum.
Ben bu 120 bin ürünü sürekli yani en azından haftada bir kere güncellemem gerekecek fiyatlar değişiyor çünkü. ama bırak güncellemeyi daha ürünü ekleyemedim bile
Stabil calismasi icin Queue kullanmanizi tavsiye ederim. " "http://netsis_sunucu_ipadresi_burada/api/v2/items?limit=".$kac_veri_gelecek."&offset=".$kac_sa yfa_gelecek;" seklinde kullandiginiz url'i hazirlayip queue'ya atin.
Queue'daki verileri isleyecek bir tane php dosyani olsun. while(true) ile surekli queue'da bekleyen is var mi diye kontrol edin, eger var ise birer birer istek atip datalari islersenizi. Eger yok ise sleep atip beklersiniz. Bir de guzel bir loglama yaparsiniz patlayan islemleri kolay takip edersiniz.
Dosyanin icinde while(true) kullanacaginiz icin sunucuya supervisor (
http://supervisord.org/) kurarak gerekli dosyanin surekli calismasini saglayabilirsiniz.