Bunu JDesktop component'ı ile rahatça yapabilirsiniz.

org.jdesktop.jdic.browser
İçinde bulunan WebBrowser object'i tam olarak aradığınız şeydir.
Hatta daha ileri gidip inheritance kullanarak daha da özelleştirebilirsiniz.

Örnekler için:
https://jdic.dev.java.net/documentation/Examples.html


Ayrıca detaylı bir proje düşünüyorsanız:
WebBrowserListener'a da göz atmanızı tavsiye ederim.