İşte bu hız bana asla yeterli değil ben sadece aynı mantık ile ilk sayfayı kontrol ettirip kıyaslıyourdum. Bana daha backend bir çözüm gerekli linkleri ürün linkleri listelemek gibi
Sizin yaptığınız işlemler:
1- siteden veriyi çekiyorsunuz ve db kayıt ediyor.
2- Siteden tekrar veri çekiyor ve db kayıt ediyor.
3- Kayıt edilen eski ve yeni verileri kıyaslıyorsunuz.
Bu şekilde db çok fazla işlem yapılır.
Benim ise bahsettiğim
1 - siteden veriyi çekiyorsunuz ve db kayıt ediyor.
2- siteden gelen veriler varmı diye kontrol ediyor.
3- Gelen veri var ise bir işlem yapmıyor yok ise yeni kayır yapıyor.
Eğer imkanınız var ise karşı db yi kendi db nize kopyalayacak bir yöntem lazım size.