Hangi temayı kullanıyorsun bilmiyorum ama amp yüksek boyutlu sayfalar istemiyor bu yüzden css ve js dosyalarını sıkıştırman gerekebilir, bunun için cache eklentileri kullanabilirsin.
AMP eklentisini kurduktan sonra sayfalarını https://search.google.com/test/amp adresinden test edip veren hatalara göre bir yol izleyebilirsin.