2 Milyar Veriyle MySql Çalışır mı ? Cevabı Burada

Bu konuda çok makale araştırdım türkçede pek kaynak yok birebir tecrübe ettim big data ile uğraşan olurda bu kaynağa ulaşırsa en azından fikir verecektir.

1- Mysql ile big data işlemek başlarda kolay ama ön bellekteki kuyruklar yoğunluk oluşturunca işler değişecek
2- Eğer verileri sadece depolayacaksanız ve sadece sorgulama için kullanacaksanız bir ihtimal şansınız yüksek.
3- Belli zamandan sonra database büyüyecek sql sorgularınız geç cevap verecek
4- Özellikle kullanacağınız alanlara index atarak ön bellek oluşturmak size sorgulamada zaman kazandıracak
5- Tablodaki alanların değerlerini iyi ayarlamanız gerekir char ile varchar arasındaki farkı, int, big int, tyint bunların size byte bazında ilerde nasıl bir yük getireceği planlamanız gerekir yoksa ufak bir hata size büyük depolama ihtiyacı doğuracaktır.
6- Eğerki join bağlantı yapmayacaksanız belli kategoride tabloları ayırmak sorgulama ve ön bellek okumada artı kazandırıyor yoksa hiçbir faydası olmaz
7- Sürekli veri işlemeyecekseniz yoğun bir sorgulamanız olmayacaksa Mysql kullanın
8- Eğer sürekli bir sorgulama ve veri işleme yapacaksanız başka alternatifleri planlayın işin başındayken.

Sorular olursa cevaplayabilirim. Database yönetimi konusunda profesyonel destek isteyen olursa yardımcı olabilirim.

Günlük 1M kayıt alan bir sistemi geliştiriyorum ve yönetiyorum. Böyle giderse ay sonuna kadar 30M kayıt olacak (şu anda 6-7m var.) Insert konusında sıkıntı yok sadece select atarken biraz bekletiyor. Elasticsearch kullanmayı planlıyorum. Datalarıda haftalık / aylık başka bir db sunucusuna alıp orada farklı dbler (2018-01-01, 2018-02-01 gibi.) altında tutmayı düşündüm. Bu dataları Elasticsearch e basıp kullanabilirim kafasındayım. Bu dataları istatistik için kullanıyorum ama çok nadir. Dataları silip kolay yola kaçmak istemiyorum. MySQL kaç satır kadar sağlıklı olur?

Bu konuda önerebileceğini yol nedir?

Eslında bunda bir sınır yok sadece verileri nerede nasıl hangi yolla kullanacağın önemli. 2 milyardan sonra ciddi sıkıntılar ortaya çıkıyor özellikle index ile kuyruk kısmında çok zaman kaybı oluyor normalde 5dk. içerisinde 30 bin satır yazdığımız tablo saatlere dönüşüyor. Bu sebeple bence 2 milyar civarında bu sorun kesin oluyor diyebiliriz. Ama tablolarda çok fazla işlem yapılmıyorsa ve zaman sorunu yoksa index atmadan kayıt yapılıp devam edilebilir. Burada önerebileceğim MySQL Cluster ile birden fazla sunucu üzerinde işlem bir alternatif olabilir. Eğerki bir cron kullanılıyorsa bu kısımda bir öğrenen sistem entegre edilip gerekli olmadığında sorgu atması engellenebilir. Tablolalar işlem yapılıp yapılmayacağını yine başka tablolalar üzerinde kontrollü yapılabilir vs.. Tabi şu konuda var eğerki br bulut üstünde değilseniz eğer bir resize yada disk yükseltme yapamıyorsanız bence öncelik bu sorunu çözün derim çünkü bir zaman sonra ulaşacağınız boyut yeterli gelmeyebilir mysql depolamanızı eklediğiniz diske aktarmanız gerekebilir milyarı bulan satırlı bir database'de bu sorun olabilir.

Veriler istatistik için kullanıyoruz. Kullanıcılar o günki istatistiklerini görüyor. 2 milyar tek db'deki kayıt mı yoksa tablodaki kayıt mı? Insert olaylarında şuanlık sorun yok gibi. Sorun select sorgusunda oluyor. Bunun içnidex localde indexleme işlemi yapıp test yapacağım. MySQL Cluster ile ilgili tecrübem yok fakat sistemi bir üst veriyona taşırken cluster tecrübesi edinmek istiyorum. Şimdilik eski dataları ayrı bir sunucuda test edip işleri elastichsearch üzerinden yürütmeyi deneyeceğim. Select sorguları kullancılara bağlı olduğu için belki cacheleme yapabiliriz. Digitalocean üzerinde host ediyorum. Kaynak yetmediği zaman direk upgrade çakıyorum

Digitalocean'da volume var bence şu şekilde bir yol izleyin tabi yine sizin seçiminiz. Daha fazla büyüme olmadan mysql depolama alanını volume üzerine alın ozaman zaten genişlemede sorun olmaz diğer türlü hem daha fazla masrafınız olur hemde şiştiğinizde taşımada sorun çıkabilir. 1 yıl sonrasında karşılacağınız sorunları şimdiden çözmeniz size zaman kazandıracaktır. Elestichsearch kesinlikle kullanın performansı zaten farkedeceksiniz.

Digitalocean'da volume var bence şu şekilde bir yol izleyin tabi yine sizin seçiminiz. Daha fazla büyüme olmadan mysql depolama alanını volume üzerine alın ozaman zaten genişlemede sorun olmaz diğer türlü hem daha fazla masrafınız olur hemde şiştiğinizde taşımada sorun çıkabilir. 1 yıl sonrasında karşılacağınız sorunları şimdiden çözmeniz size zaman kazandıracaktır. Elestichsearch kesinlikle kullanın performansı zaten farkedeceksiniz.

Teşekkürler bilgiler için. Server yönetim bilgim çok üst düzey değil onun için disk ekleme vb. olaylara çok girmek istemiyorum Yeni bir server kurup sadece db server olarak kullanıp eski dataları oraya basmayı planlıyorum. En azında local ağda haberleşirler .





Hocam Postgresql ile tecrübeniz var mı? Sizde Postgresql'e geçmeye değer mi? Yabancı kaynaklarda eski versiyonun hızlı olduğu söyleniyor. Bazı kaynaklarda çok fark olmadığından bahsediliyor. Bire bir tecrübe edindiz mi?

Teşekkürler bilgiler için. Server yönetim bilgim çok üst düzey değil onun için disk ekleme vb. olaylara çok girmek istemiyorum Yeni bir server kurup sadece db server olarak kullanıp eski dataları oraya basmayı planlıyorum. En azında local ağda haberleşirler .





Hocam Postgresql ile tecrübeniz var mı? Sizde Postgresql'e geçmeye değer mi? Yabancı kaynaklarda eski versiyonun hızlı olduğu söyleniyor. Bazı kaynaklarda çok fark olmadığından bahsediliyor. Bire bir tecrübe edindiz mi?