aşağıdaki satırları ekleyerek çözebilirsiniz diye düşünüyorum:

RewriteCond %{HTTPS} !=on
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301,NE]