Hızlı tema seçmeniz çok önemli,
ben GeneratePress Pro kullandım.
Önbellek eklentisi kurmadan önce bile hızlıydı.
Sonra da Litespeed kurabilirsiniz, ücretsiz ayarlarını yapabilirim.

Tabii ki barındırma firmanızın da hızlı olması lazım.
Resim boyutlarınızı da sanırım küçülteceksiniz.