JSON databse önerisi

Merhaba bir database var ve içinde 1,5+ milyondan fazla veri bulunmamaktadır ve JSON veriler tutuyoruz mariadb 10.3 bir sorgu 1,4 s veri boyutu 1,2 kb sürüyor ve isteklerimiz birden fazla şekilde şuanda daha hızlı bir yol arıyoruz files şeklinde tutmayı düşündük ama 1 saate bir database cronlarimiz mevcut veriler güncelleniyor ve yenj veriler ekleniyor ne yapabiliriz sizce simdidien Teşekür ederim

json için mongodb iyi

NoSQL deneyebilirsiniz MongoDB işinizi çözecektir.

Hocam cluster yapıda çalışıyoruz mariadb geçiş sizce problem yaratır mi

Docker container şekilde yapımızın yarısı

Dürüst konuşmak gerekirse; maintenance yapmanız lazım.. live geçiş zor yaparsınız.

Salt sql kodu kullanıyorsanız ufak tefek geçiş problemleri yaşarsınız. Lakin eloquent vb. bi db framework kullanıyorsanız sorun yaşamazsınız query convert işlemlerinde.

MongoDB json için çok uygun bi sistem. Normalde postgres daha performanslıdır. Lakin json yapıda mongoda inanılmaz yüksek bi performans var.

Sorun yaşayacağınızı pek sanmıyorum. Kolay gelsin şimdiden.

Merhaba,

Toplam veritabanı boyutunuz nedir? Nasıl bir platform üzerinde barınmaktasınız şu an bu sorgu değerlerine ulaştığınız?

İyi çalışmalar.

Saygılarımızla,
NETStabil Ekibi

Teşekür ederim hocam

Merhabalar.

Tam olarak kullanım senaryosu nedir?

Bu tarz büyük dataları taşımak ciddi sorun oluşturabilir.

Optimizasyon için herhangi bir çalışma yaptınız mı?

1. JSON verilerini saklamak, arama ve sıralama işlemlerini zorlaştırabilir. Verilerinizi düzenleyerek, sadece sık kullanılan alanları çıkarmak ve düzensizliği azaltmak veritabanı performansını artırabilir.
2. Veritabanındaki sık kullanılan alanları uygun şekilde indeksleyerek sorgu performansını artırabilirsiniz. İndeksleme, verilere hızlı bir şekilde erişim sağlar ancak bununla birlikte veri ekleme ve güncelleme işlemleri biraz yavaşlayabilir.
3. Partitioning (bölümlendirme): Verileri mantıksal olarak bölümlere ayırmak, veritabanı performansını artırmak için faydalı olabilir. Örneğin, tarihleme verileri için ayrı bir tablo kullanabilir ve böylece sorgu işlemlerini daha etkin hale getirebilirsiniz.

NoSQL veritabanları, düzensiz veri yapılarını saklamak, büyük veri kümelerini işlemek ve ölçeklenebilirliği sağlamak için tasarlanmıştır.

MongoDB, Couchbase ve Cassandra gibi popüler NoSQL veritabanlarından birini düşünebilirsiniz.

Ancak, NoSQL veritabanları seçerken dikkatli olmalısınız. Verilerinizin yapısal tutarlılığını sağlamak ve sorgu ihtiyaçlarınıza uygun bir veritabanı seçmek önemlidir. Ayrıca, verilerinizin gereksinimlerini dikkate alarak veritabanınızı düzenlemek ve optimizasyon yapmak da önemli bir adımdır.

NoSQL tarafında direkt akla MongoDB geliyor, faydaları kadar olumsuz yönleri de var; Bellek kullanımı, yüksek disk alanı ihtiyacı, veri bütünlüğünün korunması. Docker ile kullanım senaryolarında çok iyi optimize edilmesi gerekiyor.

Bunlara alternatif olarak veritabanı modeliniz aynı kalabilir, sadece güncelleme işlemlerinde data warehouse mantığıyla kullanabilirsiniz. Sorgularda ise Elasticsearch kullanabilirsiniz. Maliyet açısından daha etkili olabilir.