SSL'in bir sıralama kriteri olduğunu sanmıyorum.
Sadece Google Chorme yakında yapacağı bir güncelleme ile SSL olmayan sitelerde "Güvenli değil" ibaresi yazdıracak. Bundan dolayı ziyaretçi sitenizden çıkabilir.