içine ekleyip kaldırırsan eklemiş olduğun da gider sonrasına ya da öncesine eklersen içeriğini yok etmeden elementi kaldırabilirsin.

refElem  = document.getElementById("refElem");
const myElem = document.createElement("a");
myElem.setAttribute("href", "https://link.com");
myElem.textContent = "test mesajı";

// refElem.insertAdjacentElement('beforebegin', myElem);
<p id="refElem">  
     // refElem.insertAdjacentElement('afterbegin', myElem);    
     ... content ...    
     // refElem.insertAdjacentElement('beforeend', myElem);
</p>
// refElem.insertAdjacentElement('afterend', myElem);

remove:

refElem.remove();