Evet belkide olayın aslı bu ama şu yönden düşün.Google normal masa üstü sıralamasında da önem verdiği bir şey,kişilerin sitede kaldıkları süreler v.s.Mobil kullanımında arttığını düşünürsek mobilden girenler sitelerde daha uzun kalacağı için bu bilgisayarlardan gelen aramalarıda etkiliyecektir normal olarak.
Mobil optimizasyonu olmadığı için mobil aramalarda zaten sıra kaybedecek site, yani, dediğiniz şeyin olma olasılığı azalmış olacak. Yani site sadece laptop ve masa üstü bilgisayarlardan arama yapanlara yönelik olduğu için ciddi bir sıra kaybı beklemek bence yanlış olur.
Lakin genel anlamda görüşünüze katılıyorum, gelecek güncellemelerde mobil optimizasyonu olmayan sitelere hayat hakkı tanımayacak google.