Veritabanı ve panel optimizasyonu yapabilirsiniz.
Query Monitör eklentisi ile sitenizde bir eklenti admin panelini yavaşlatıyor mu bakabilirsiniz.

Muhtemelen problem hosting kaynaklarının yetersiz olmasından. Şayet admin panelinde bile gecikme yaşanan bir hosting kullanıyorsanız değiştirmenizi öneririm. Sitenizin hızlı açılma sebebi ise önbellek gibi nedenlerden dolayıdır. Yine de sitenizi görmeden yaptığım bir tahmin. Eklenti kaynaklı olma ihtimali de yüksek. Link paylaşmanız daha mantıklı olacaktır.