Değerli arkadaşlar merhaba, siz değerli arkadaşlarımızın da bir konuda fikirlerini almak isterim.

Basit bir script’imiz bulunmaktadır. Bu script 160 tane sayfadan aynı mantıkla veri çekerek veritabanına kaydetmektedir. Veri API üzerinden çekilmekte ve API’nın veri sunma hızında herhangi bir problem bulunmamaktadır. Bir adet index.php sayfası bu 160 sayfayı javascript ile sürekli arkaplanda saniyede bir GET etmektedir. Asıl problemimiz şurda başlıyor.

Her sayfa yenilendiğinde ortalama bir sayfa için 500 veri gelmekte ve bu 500 veri eğer ki VERİTABANINDA YOKSA veri tabanına eklenmektedir. Yani bir kontrol süreci ve ekleme süreci vardır.
Yani sistem saniyede 160 tane sayfada, her bir sayfadan 500 veri almaktadır. Toplam 80.000 data saniyelik olarak sisteme eklenmekte ve kontrol edilmektedir.

Sistem localhost’ta XAMPP’ta çalışmaktadır.
Sistem sadece bu iş için tahsis edilmiştir. Ve işlemi yapan cihazın 128 GB RAM’ı ve i9 işlemcisi bulunmaktadır. Arka planda başka hiçbir şey çalışmamaktadır.
Aynı özelliklere sahip bir server kiraladığımızda da aslında çok fazla bir hız olarak artış yaşamadık. Hatta 12 GB ram’li bir sunucuda bile daha fazla performans aldık.

Sorumuzun aslı, ben bu sistemi jet hızında çalıştırmak için acaba ne yapabilirim ? Veri tabanını değiştirmek, veritabanı motorunu değiştirmek v.b tüm fikirlere açığım.
Verileri tek tek TXT olarak bile kaydedip aradaki farkı milisaniye olarak hesapladım. Fakat performanslı olmadı. Mysql, Apache, Nginx üçlüsünün hepsi denendi. Sistemin ortalama verileri işlemesi 1 saniye sürüyor, tabii o 1 saniye içinde sayfa tekrar reload olduğu için ve bu işlemde 160 sayfada eş zamanlı yapıldığı için sistem ister istemez yavaşlamaya başlamakta. Tüm değerli arkadaşlarımın fikrini almak isterim 😊