Mysl Büyük Verilerde SELECT sorgusu sorunu

Günlük 50.000 verinin insert ile eklendiği bir tablom mevcut. Tablonun şu anda ~158,293,274 verisi var. Bu tabloda arama yaparak çektiğim Varchar dosyasına index verdim. Db sunucumda bu tabloya insert dahil her işlemim hızlı oluyor ancak bu tablodan veri çekmeye çalıştığımda çok uzun sürüyor ve bu işlem sırasında %5 -6 civarında gezen cpu %80-90 lara çıkıyor.

Sunucum Google Cloud üzerinde ve özellikleri şu şekilde;

-2 vcpu
-11GB Ram

Sizce sunucumu yetersiz kalıyor yoksa benim optimize etmem gereken yerler mi var.

Mysqlde myisam yerine innodb kullanip, verileri memcache gibi bir yerde tutarsan anca. Anlik 600 ziyeretcili bir websitesi ile ugrasirken boyle bir cozum bulmustum. Obur turlu sunucu ne kadar iyi olursa olsun, insert ederken bildigim mysql tabloyu kitler.

Hocam yaptığım testlere göre insert işlemi hızlı oluyor. Sunucu da innodb ayarlı. Ancak select sorgusunda baya bekletiyor.Ram kullanımı da hep %100 o yüzden ram mi eksik kalıyor onu düşünüyorum

Sorun en basta, time series bir veriyi mysql de tutmak cok sacma influxdb de sickalik verilerini tutmak daha mantikli

php surumu olarak 5.x.x ve mysql baglantiyi
Php 7.x.x ve mysqli yada pdo yapar misiniz?

Cozdugum farkli bir sorunda boyleydi.

php 7.x sürümü ve pdo kullanıyorum. Galiba ram miktarımı arttırmam lazım

https://qbox.io/blog/ship-mysql-logs...earch-filebeat
https://medium.com/rahasak/migrate-d...h-88aa706b80d4

şöyle bir kaynak bırakayım bunun dışında slow query log ile sorgularınızı analiz edin
proje büyük ise mysql, elasticsearch, kibbana kullanabilirsiniz mysql daha doğrusu sql bazı durumlarda yeterli olamayabiliyor. Yine mysql yerine postgresql kullanabilirsiniz ORM var ise geçişiniz hızlı olur fakat ORM olmasa bile sorgular hemen hemen aynı ama bu işin uzman çözümü filebeat ve elasticsearch zira filebeat slow query log üzerinden yakaladığı sorguları loglayıp elasticsearcha gönderir elasticsearch ise araştırdığınız zaman görürsünüz.
https://www.furkancaliskan.com/elast...c-stack-nedir/