En temelde sunucu kaynakli bi yavaslik olup olmadigina bakmak lazim bence.
Ardindan hiz optimizasyonu icin ufak bi google aramasi yaparsaniz on binlerce sonuc bulabilirsiniz. Maddeler halinde özet gecmek gerekirse etkileyen faktorleri:

1- sunucu
2 - kullanilan tema
3- resim optimizasyonu
4- js ve css optimizasyonu
5- onbellek eklentisi
6- cdn kullanimi
7- veritabani ootimizasyon
8- gzip
9- kullanilmayan ve asiri yuk olan eklentiler icin daha hafif cozumler
Ektralar: anasayfa optimizasyonu, hotlinking pasiflestirmesi, pingback kapatma, guncel php/wp kullanimi, kullanilmayan widgetlarin kaldirilmasi, yorumlari sayfalamak, lazy load gibi ekstra secenekler de sitenin performansini artirmaniza yardimci olacaktir.