Bende aslında cronjobs diye tahmin ediyorum veriler json gibi gönderiliyor ve verilerin içinde base64 ile şifrelenmiş resimler var ve en az 60-70 tane ürün resmi geliyor. Bazen 4-5 ürün birden geliyor buda 300-500 arası resim yapıyor.
Şöyle bir fikrim ve önerim var aslında;
Farklı bir domain ve hosting açıp veri çeken tüm cronjobsları burada işlemek ardından ana sunucuya iletmek verileri az az göndereceğim içinde sunucu sıkışıklığını önleyebilirim. Diye düşünüyorum.
Evet önleyebilirsiniz, benim tavsiyem şu yönde olacak (smm sitelerine ana bayilik yapıyorduk, bu tür kilitlenmeler yaşanıyordu , Cron sisteminden dolayı) bunu şu şekilde çözdüm : Cron sistemine maximum işlenecek veri limiti koydum , örneğin 1000 adet veri var ise ben 200 limit koymuştum. 200 200 işliyordu.Mantık olarak tüm verileri txtde cacheliyordum, işlenen veriyi siliyordu.(database şişirmemesi açısından).