Нашел ответ на одном из форумов. Сам я в этом не разбираюсь, поэтому - просто копи-паст
Обычно в .htaccess для редиреки на https предлагается сивить икой код:
Вариант 1
RewriteEngine On
RewriteCond %{SERVER_PORT} 80
RewriteRule ^(.*)$ https://babysupermag.ru/$1 [R=301,L]
Вариант 2
RewriteEngine On
RewriteCond %{HTTPS} =off
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [QSA,L]
Вариант 3
RewriteEngine On
RewriteCond %{SERVER_PORT} !^443$
RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R,L]
Вариант 4 - если возникает циклическая переадресация:
RewriteEngine On
RewriteCond %{HTTPS} off
RewriteCond %{HTTP:X-Forwarded-Proto} !https
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
Этот вариант мне помог!