Silip yeniden eklemek bir işinize yaramayacak çünkü isim sunucuları zaten Cloudflare. Dolayısı ile CF'in eski ayarları kopyalayacağı yer yok.

Sitenin cevap vermesi için DNS bölümünde A kaydını güncellemek gerekir.
Varolan kayıtlarda eski IP adresi olan her şeyi yenisiyle değiştirin.

Gerekiyorsa ekran görüntüsü ile hosting hizmetini aldığınız yere bir ticket açıp değiştirmeniz gereken değerleri sorun.

Senaryoya göre A kaydından başka TXT ve CNAME'leri de değiştirmeniz istenebilir.