Соединение SSL / HTTPS устанавливается медленно

У меня есть сайт на виртуальной машине в Microsoft Azure. Неделю назад у меня появилось много новых активных пользователей (около 5000), и сейчас все идет очень медленно. С моим сервером это должно быть очень быстро. Я немного проверил, и медленные загрузки происходят только при использовании HTTPS:

Почему происходит перегрузка только по HTTPS?

Более того, я использовал Wireshark, чтобы увидеть всю передачу, и увидел, что есть повторная передача TCP (которой у меня нет в http), которая замедляет установление соединения.

В качестве сервера я использую Ubuntu 16.04 с Apache2.4.