Svg en sağlam olanıdır. Fakat sayfa içerisinde aşırı kullanılırsa dediğiniz gibi html boyutunu yükseltir. Png olarak kullanmak en kötü yöntem olur. Çünkü tarayıcı her bir resim için sunucuya ekstra sorgu gönderecek. Bu durumda en mantıklı yöntem css sprite özelliği olacaktır. Png dosyalarını tek bir resimde birleştirip css background ile icon gibi kullanabilirsiniz. Google'dan css sprite generator diye aratırsanız bir sürü site çıkar karşınıza.
Ben de en sağlamı svg diye düşünüyordum, o yüzden ilk onu kullanmaya başlamıştım. Ama sanırım ben meydanı boş bulup, biraz abartı svg'ler de seçmiş olabilirim. Çok daha sade ve basit svg'ler kullansaydım belki performans olarak sıkıntı yaşamazdım. Ama şimdilik Svg'yi ikinci plana atıyorum.
Ayrıca sadece css ile kullanılabilen icon paketleri de var. Bunlar da tercih edilebilir. Örnek:
https://css.gg/
Verdiğiniz siteyi inceleyeyim, bu daha fazla işimi görebilir. Ekstra font yüklenmesine gerek kalmadan ve png isteğine de ihtiyaç olmadan, en azından sosyal medya ve benzeri standart ikonları buradan kullanabilirim, işime yarayacak bu link.
Teşekkürler.