Sunucu kaynaklı bir problem olabilir eğer optimizasyon ayarlarınız doğru ise.
Kullandığınız hosting firmasını/paketini değiştirmeyi düşünebilirsiniz. Özellikle TTFB değerleriniz direkt olarak hosting firmanızdan etkilenir.

Eğer profesyonel bir hız optimizasyonu hizmeti almak isterseniz,
https://www.r10.net/ucretli-wordpres...5265039-a.html

İletişime geçmeniz yeterlidir.