API Sorgusunda 20k kaydın listelenmesi sorunu

Selamlar,

N11 entegrasyonunda bir kategorinin zorunlu özelliklerinden birtanesinde tam 18995 adet kayıt var.
Bu kayıtlar her sorguda 100 tane olarak yani 190 adet sorguda geliyor.

Bunu kullanıcıya tek seferde sunmamız gerekiyor ki aralarından uygun olanı seçsin.
Sorguyu for la döndürdüğümde SOAP-Parse hatası alıyorum.

Bu işlemi nasıl tamamlatabilirim ?


İşlem Sırası ,

Kategori ID ile Kategorinin Özelliklerini Çek,
Gelen Özelliklerden Zorunlu olanları ayır,
Zorunlu özelliklerin değerleri için istek gönder,
Gönderilen istekte gelen pagingData alanındaki sayıyı kontrol et,
CurrentPage PagingCount ufaksa arttırarak sorguya devam eden.Her sayfada Dönen verileride Array olarak sakla.

190 istek olunca bu döngü arada patlıyor.

Çözüm üreten varmı ?

N11 kategori özellik listelemelerinde farklı çözümü olan ?

$attributes = $this->getCategoryAttributesId($catId); /* Kategorilerin Özelliklerini Çekme*/
$query = $this->getCategoryAttributeValues("354080327"); /* Özelliklerin değerlerini çekme - Bu yazan özellik kodundaki değer sayısı 18995 adet :/*/
/*Sorgu Sonucu */
+"pagingData": {#2788 ▼    
+"currentPage": 1    
+"pageSize": 100  
 +"totalCount": 18995    
+"pageCount": 190

verileri kendi db ne cek sonra arama ozelligi ekle icerisinden arasin. ilk 100 kayit yaparsan donma olmaz.

JSON server kullan , istediğiniz sorgu tipine gore sorgu atın :

apiurl/?category=demo&perperson=100
Gibi sorgu isteğine göre altyapinizı değiştirin 😊

N11 sunucusuna istek atıyoruz. Bu ıstek SOAP olmak zorunda. PHP yazılımı üzerinden gönderiyoruz çünkü.
Haricinde cevap vermıyor N11 sunucuları.

protected static $_appKey, $_appSecret, $_parameters, $_sclient;

public function __construct() {
    self::$_appKey = env('N11_API_KEY');
    self::$_appSecret = env('N11_API_SECRET');
    self::$_parameters = ['auth' => ['appKey' => self::$_appKey, 'appSecret' => self::$_appSecret]];
    ini_set('default_socket_timeout', 5000);
    ini_set('max_execution_time', 5000);
}

/**
 * @throws \SoapFault
 */
public function setUrl($url) {

    $arrContextOptions=stream_context_create(array(
        "ssl" => array(
            "verify_peer" => false,
            "verify_peer_name" => false,
        )));
    self::$_sclient = new \SoapClient($url,array(
        'trace' =>true,
        'connection_timeout' => 5000,
        'cache_wsdl' => WSDL_CACHE_NONE,
        'keep_alive' => false,
        'stream_context' => $arrContextOptions
    ));
}

Bunu gerçekleştireceğim ama DB de ınanılmaz data birikecek, sorgu süresi uzayacak gibi. Deneyip görelim.
Teşekkürler

Ek olarak Datayı karşı sunucudan alırken hata alıyorum, Bu çözüm olmacaktık. Data tarafıma ulaşsa array üzerinden cacheleyerek veriyi isteiğim yere taşıyorum zaten.

Genelde bu tarz ağır işler için node.js tercih ediyorum node.js kullanırsanız sorun kesinlikle ortadan kalkar php bu tarz işler için biraz hantal
https://www.npmjs.com/package/soap