Evet kullanmadıklarınızı silebilirsiniz, tabi silerken dikkatli olmakta fayda var, tek bir sayfa için gerekli olan css ve js kodları olabilir, bunlarıda header yerine sadece ilgili sayfada inline/external kullanmak daha sağlıklı olabilir.
Bunların dışında ayrı ayrı çağırılması şart olmayan css ve js dosyalarını aynı dosyada toplarlamaya çalışabilir ve bu dosyaları (orjinallerini saklayarak) minify ile sıkıştırabilirsiniz. Daha sonra aciliyeti olmayan javascript dosyalarını async ve ya defer ile gecikmeli yükletebilirsiniz. Sunucu tarafında gzip / deflate kullanabilirsiniz. Google pagespeed insight ve ya gtmetrix gibi araçlar bu anlamda faydalı önerilerde bulunuyor, kullanmamışsanız bunlardan da faydalanabilirsiniz.