Site dışı bağlantılar ip adreslerine değil, domainin kendisine yapılıyor. Dolayısıyla veri kaybınız olmadıkça, site hızınızda yavaşlamalar v.s olmadıkça sıralamanızın da etkileneceğini düşünmüyorum.