tek birşey ile olmuyor hocam birçok etken var cache kullanıyormusunuz ?
kullandığınız hosting yeterince hızlımı?
sitenizde resim çokmu? resimleri optimize yaptınızmı?
tarayıcı önbellekleme yapıyormusunuz (ben bunu bi türlü beceremedim)
css, js ve html küçülttünüzmü?
database temizliği yaptınızmı?
unuttuğum başka şeylerde olabilir ama genel olarak bunların hepsini yapmanız gerekiyor