Admin panel yavaşlık nedenleri;

Sunucu alt yapısı
Kullanılan eklenti sayısı
Mevcut cache eklentisi ( sunucu ve kullanılan tema eklentilere en uyumlu olan kullanılmalı )
Cache ayarları
Veritabanında gereksiz kalıntıların mevcut olması

Akismet, Jetpack ve güvenlik eklentilerinin mevcut olması
Cloudflare bağlı olan sitelerde Cloudflare tarafından Purge işlemi ihmal edilmesi

Ve tabii ki lisanssız tema ve eklenti kullanımı.