2 Milyar Veriyle MySql Çalışır mı ? Cevabı Burada

Toplamda 2,308,070 satır, toplam 5 tablo, her tabloda 130 ile 160 arasında sütun ve her sütunda ortalama 400,000 satır, google cloud sql kullanıyorum fakat son zamanlarda ciddi yavaşlamalar oluyor bu 5 tablo aynı anda güncelleniyor ve 10 dk aralıkla, jqgrid ile kullanıcılara bu tablodaki verileri sunuyoruz analiz yapmaları için sorgu sayısıda yüksek oluyor haliyle, bu tür bir veri tabanı için nasıl önerilerde bulunabilirsiniz ? Açıkçası google maliyeti yüksek fakat verimlilik çok güzel son zamanlarda kurların yükselmesiyle ciddi oranda maliyet artışı yaşadık bu konuda siz olsanız nasıl bir yol izlerdiniz?

Toplamda 2,308,070 satır, toplam 5 tablo, her tabloda 130 ile 160 arasında sütun ve her sütunda ortalama 400,000 satır, google cloud sql kullanıyorum fakat son zamanlarda ciddi yavaşlamalar oluyor bu 5 tablo aynı anda güncelleniyor ve 10 dk aralıkla, jqgrid ile kullanıcılara bu tablodaki verileri sunuyoruz analiz yapmaları için sorgu sayısıda yüksek oluyor haliyle, bu tür bir veri tabanı için nasıl önerilerde bulunabilirsiniz ? Açıkçası google maliyeti yüksek fakat verimlilik çok güzel son zamanlarda kurların yükselmesiyle ciddi oranda maliyet artışı yaşadık bu konuda siz olsanız nasıl bir yol izlerdiniz?

NoSQL olarak kendiniz dizayn etmeye çalışın MongoDB önerebilirim. Heroku kullanımını ve deployment süreçlerini araştırın. Mevcut olanı kullanacaksınız en çok sorgu yaptığınız alanlara index atabilirsiniz. Alanlar için oluşturduğunuz tipleride optimize edebilirsiniz char yada varchar kullanmak, INT yerine TINYINT kullanmak gibi. Tablolarınızı birleştirmeyi deneyebilirsiniz zira 2 farklı tablodan aynı anda veri çekmek yerine tek tablodan daha hızlı veri çekebilirsiniz. Mevcut ile devam edecekseniz MySQL Cluster tarzı birden fazla sunucu edinmeniz gerekebilir.

Sistemde bulut kullandık. En son 48 GB / 12 CPU üzerinde çalıştık. Volumes ile 10 TB disk bağladık veri çok yüklü giriliyordu sisteme. Proje 4 aydır kapalı fon desteği arayışımız var. 240$ dolar ödemesi var.

62 Ülkeden 40 dan fazla dilde hemde google play hemde app store'da 10 milyon üzeri uygumanın günlük 42 kategoride sıralama kayıtları yorumları ve trendlerini depoluyoruz. 80 milyar civarında category rankings kayıtları oluştu çözüm arayışları sonucunda database değiştirmek zorunda kaldık zira her dakika collection chuck ile 10 binden den fazla veri depolanıyor. Şişmeye başlayan database ile başetmeye çalıştık ama her gün daha fazla veri girdikçe insert lerde sorunlar yaşadık CPU %100 ulaşıp kuyruklarda birikmeye başladı eklenecek veriler.



Profesyonel olduğumu size ispatlarsam ve bu şekilde bilmeden tanımadan bir insan hakkında ön yargıyla düşünerek rencide ettiğiniz için özürdileyecekmisiniz? 10 yıldır bu platformdayım kimseye umut satmadım, kimseye ön yargılı davranmadım son günlerde bu şekilde tutarsız yapılan yorumları gördükçe üzülüyorum. Profesyonel destekten kastım ücretli olarak değil onuda belirteyim güzel arkadaşım yardıma ihtiyacı olanlar olursa ulaşsınlar diye 16 senedir backend developer olarak sayısız projede çalıştım karnımız tok çok şükür.