2 Milyar Veriyle MySql Çalışır mı ? Cevabı Burada

Aslında altyapıyı güncellerken sistem daha da büyümeden bu tarz değişiklikleri denemek istiyorum. MySQL tarafından ki hız problemini index atarak çözdüm. 4-5 saniye süren sorgular 0,80 a kadar düştüler.

Indexler dogru kullanılmalı, select'i hızlandırır ama insert'ü yavaşlatır. Veri büyüdükçe yavaşlık daha da artar.

Tekrar eden değerlere sahip fieldlar indexlenirse daha hızlı çalışır diye biliyordum. where koşulu olarak kullandığım iki field (user_id ve created_at )var. Bu iki fieldı beraber indexledim. Şuan select sorguları hızlı, insert de gözle görülür bir şey yok. Insert sorgularınıda queue atıp arka planda işliyecem maksat ziyaretçi beklemesin

Selamlar, konunuzun linkini gördüm.

Bu data için nasıl bir makine kullandınız ? Her sorunu direk mysql e bağlamamak lazım.

Digital Ocean üzerinden yüksek performaslı bulutlarda test edildi.

CPU özellilklerini yazabilirmisiniz ? -- Ve bu makine için ne kadar bir ödeme yaptınız ? (Özel değilse, konu bilgilendirme amaçlı ama merak ettim)

Konu başlığını görünce şaşırdım girip bakayım dedim ama bilinen gerçekler dışında hiçbir şey yok. Hani hiç bilmeyen birisi denk gelir "Database yönetimi konusunda profesyonel destek isteyen olursa yardımcı olabilirim." ifadesi üzerine yazar bana amacıyla açılmış bir konu gözümde ayrıca bahsettiğiniz profesyonel desteği verebileceğinize inanmıyorum maalesef

Sistemde bulut kullandık. En son 48 GB / 12 CPU üzerinde çalıştık. Volumes ile 10 TB disk bağladık veri çok yüklü giriliyordu sisteme. Proje 4 aydır kapalı fon desteği arayışımız var. 240$ dolar ödemesi var.

62 Ülkeden 40 dan fazla dilde hemde google play hemde app store'da 10 milyon üzeri uygumanın günlük 42 kategoride sıralama kayıtları yorumları ve trendlerini depoluyoruz. 80 milyar civarında category rankings kayıtları oluştu çözüm arayışları sonucunda database değiştirmek zorunda kaldık zira her dakika collection chuck ile 10 binden den fazla veri depolanıyor. Şişmeye başlayan database ile başetmeye çalıştık ama her gün daha fazla veri girdikçe insert lerde sorunlar yaşadık CPU %100 ulaşıp kuyruklarda birikmeye başladı eklenecek veriler.

Profesyonel olduğumu size ispatlarsam ve bu şekilde bilmeden tanımadan bir insan hakkında ön yargıyla düşünerek rencide ettiğiniz için özürdileyecekmisiniz? 10 yıldır bu platformdayım kimseye umut satmadım, kimseye ön yargılı davranmadım son günlerde bu şekilde tutarsız yapılan yorumları gördükçe üzülüyorum. Profesyonel destekten kastım ücretli olarak değil onuda belirteyim güzel arkadaşım yardıma ihtiyacı olanlar olursa ulaşsınlar diye 16 senedir backend developer olarak sayısız projede çalıştım karnımız tok çok şükür.

Toplamda 2,308,070 satır, toplam 5 tablo, her tabloda 130 ile 160 arasında sütun ve her sütunda ortalama 400,000 satır, google cloud sql kullanıyorum fakat son zamanlarda ciddi yavaşlamalar oluyor bu 5 tablo aynı anda güncelleniyor ve 10 dk aralıkla, jqgrid ile kullanıcılara bu tablodaki verileri sunuyoruz analiz yapmaları için sorgu sayısıda yüksek oluyor haliyle, bu tür bir veri tabanı için nasıl önerilerde bulunabilirsiniz ? Açıkçası google maliyeti yüksek fakat verimlilik çok güzel son zamanlarda kurların yükselmesiyle ciddi oranda maliyet artışı yaşadık bu konuda siz olsanız nasıl bir yol izlerdiniz?