Hepinize Takıldığım Bir Algoritma Sorusu | NodeJS Yüksek Veri Trafiği

Selamlar,
Aşağıdaki sayfaların her birinin ilk load kısmında yaklaşık 20K - 50K Veri GET ediliyor.


Bundan dolayı da db çok fazla zorlanıyor ondan ziyade site çok yavaş yüklenme sorunu yaşıyor. Ben bunları ilk yüklemede cache de tutmayı düşündüm. Fakat ilk gelen üye her sayfayı dolaştığında bu yüklemeyi yapacak zaten ve ilk indirmede ağırlık var algısı olacak.
Fakat 2. bir sayfayı yüklemede bu veriler cache den geliyor olacak.

Şimdi soru şu:
Sayfa başı yaklaşık 20K - 50K data get yapılıyor. Bu verilerin get yapıldığında nasıl bir yol izlenmeli ki misafire ağırlık hissedilmesin. Bunun için ne gibi yollara başvurulabilir.
Mesela ben veritabanını farklı bir güçlü sunucuda tutmayı planlıyorum. ve aynı zamanda cache işlemini kullanırsam belki bi nebze daha hızlı olacaktır. Sizler nasıl yol izliyorsunuz bu gibi durumlarda?

Nodejs'de bir worker yazılır, veriler Redis'te tutulabilir. Worker belli aralıklarla redis verisini günceller. Web sitesi üzerinde de Redis'den doğrudan veri alınıp okunur.

Eğer kullanıcıya özel sonuçlar döndürülecekse durum değişir.

Yorumun için teşekkürler.

Her kullanıcıya özel bir veri listelenmiyor hocam. Genel olarak bir veri list ediliyor. Teşekkürler. Konu hakkında araştırma yapacağım.

niye 20k veri get ediliyor, gerek var mı mesela önce bunu düşünmek lazım
eğer çalıştığınız site aşağıdaki siteye pagination yapabilirsiniz. evet, pagination yapmışsınız fakat tüm verileri çektikten sonra pagination yapıyor. bir anlamı yok yani

Önbellek süresini daha uzun tutar; sorguları parçalar ve her önbellek için farklı süreler tanımlayabilirsin. Diğer türlü önbelleğe almanın da bi esprisi yok.

Evet güzel bi bakış açısı fakat sitenin amacından çıkmasından dolayı bu gerekli hocam.
Sitenin amacı: en uygundan en pahalıya veya en pahalıdan en uyguna servisleri görebilmek. Şayet pagination yaparsam üstteki sıralama olayları sadece load edilen veriler arasında filtrelenir. Aslında bunu düşünmedim değil.
Mesela bütün datayı çektikten sonra fiyatı yukardan aşağıya aşağıdan yukarıya diye listelediğinizde bütün datalar arasında yapıyor.
Size bu mesajı yazarken bi yandan bi çözüm yolu da bulduğumu düşünüyorum onu da sorayım. Amaç filtreleme ise, o butona tıklandığında db den halledeyim bu işlemi ve yine pagination olsun.
Hmm güzel fikir oluru yüksek

Teşekkürler aydınlattığın için.