Почему мой сайт работает так медленно после установки SSL?

У меня есть сайт Wordpress, который неплохо работает на местном уровне. Большинство страниц загружаются со скоростью около 1 секунды. Некоторые даже меньше - около 800-900 мс.

Когда я загружаю свой сайт на свой производственный сервер, VPS с 2 ГБ ОЗУ в Digital Ocean, время загрузки увеличивается примерно до 1,6 с, что не слишком безумно, но после того, как я установил сертификат SSL, время загрузки теперь приближается к 4-5сек. Это огромный скачок! Я использую следующий домен:

https://eightysix.ca

Я минимизировал все свои ресурсы и получил довольно приличную оценку в тестах скорости страницы, таких как Google PageSpeed, Pingdom и Gtmetrix, но общее время отклика сервера увеличилось.

Сначала я попытался использовать платный SSL от GoDaddy, но, увидев, насколько он медленный, попытался установить сертификат от Let's Encrypt, который, кажется, немного лучше, но все же очень медленный.

Я понимаю, что https всегда будет немного медленнее, чем http, но такой большой разницы быть не должно. Что вызывает отставание? Есть ли что-нибудь в моей теме, что мне следует искать? Я использую много запросов cURL для рендеринга значков SVG в PHP. Может в этом проблема? Любые предложения будут ценны.

Обновить

Услышав от некоторых из вас и прочитав немного больше, у меня сложилось впечатление, что такое время загрузки следует ожидать, когда вы используете HTTPS с Wordpress и без плагина кеширования.

У меня был ужасный опыт с плагинами кеширования в прошлом - я не мог отключить их в процессе разработки - и поэтому я сопротивлялся их использованию, но с тех пор я обрушился и установил WP Super Cache. Я знаю, что это не объясняет мою проблему, но, возможно, это решило ее. После нескольких загрузок страницы сайт загружается довольно быстро.