Yeni ip temiz miydi ?
SSL eklediğinizde gerekli 301 yönlendirmelerini yaptınız mı ?

Bunlar iyi bir şekilde yapıldıysa düşmemesi lazım, atladığınız farklı bir sorun olabilir.

IP ve SEO ilişkisi ile ilgili şu ana kadar Google mühendislerinin bir konuşmasına rastlamadım.

Kişisel fikrim : Mümkün olduğunca temiz IP kullanmaya gayret edin. Örnek olarak aynı IP içerisinde spam yayın yapan var ise siteniz bundan etkilenebilir diye düşünüyorum.