Несмотря на то, что загрузка ЦП низка, а HTTP-ответы очень быстрые, ответы SSL занимают более 10 секунд.
Оказывается, для библиотеки OpenSSL необходимо правильно указать имя хоста в /etc/hosts, если нет, поиск будет заблокирован. Обнаружил это поведение, запустив strace на одном из ssl-процессов.
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
close(519) = 0
stat("/etc/krb5.conf", {st_mode=S_IFREG|0644, st_size=685, ...}) = 0
open("/etc/hosts", O_RDONLY|O_CLOEXEC) = 299
fstat(299, {st_mode=S_IFREG|0644, st_size=209, ...}) = 0