Uzman değilim ama ben olsam şöyle yapardım.
Tüm verileri çeker kayıt ederdim. Daha sonra yeni veri var mı diye kontrol etmek için url var ise false döndürüp yoksa true döndürüp ürünü yeni kayıt ederdim.
https://wunder.com.tr/sneaker tüm sayfaları gezmek yerine en fazla ilk 3 veya 4 sayfayı kontrol ettirirdim.
İşte bu hız bana asla yeterli değil ben sadece aynı mantık ile ilk sayfayı kontrol ettirip kıyaslıyourdum. Bana daha backend bir çözüm gerekli linkleri ürün linkleri listelemek gibi