Aşağıdaki jQuery kodu ile yapabilirsin.

$('h2').append('<span class="yukari-git"><a href="#yukari-git">↑yukarı git</a></span>');
https://codepen.io/kod101/pen/bmKYoQ