İlla html sayfasında harici sayfa kullanacaksan satır içi çerçeve (iframe) ile yapabilirsin.

"Uzantının html olmasına gerek yok" dersen de sayfa.html'nin uzantısını sayfa.php olarak değiştirip include işleminin çalışmasını sağlayabilirsin.