Kullanımı takip ediyor musunuz? Mesela 24 saat içerisinde ortalama CPU ve RAM kullanım istatistikleri var mı? Anlık bile olsa yüksek kullanımlar oluyorsa sunucu yetersiz geliyordur.
İşlem gücü de çok önemli. Ayrıca sunucunuz nerede olduğunu bilmiyorum ama cloud platfromlara da geçiş yapmayı düşünebilirsiniz.

Sunucudan kaynaklı hiçbir sorun olmadığını net bir şekilde belirtebiliyorsanız sitenizde eklentileri, temayı ve diğer konfigürasyonları gözden geçirmelisiniz.
100 GB'dan fazla veritabanına sahip wordpress siteleri de gördüm ve yeterli kaynaklarda oldukça iyi çalışıyorlardı.