Так что, наверное, я облажался, когда настраивал HSTS и вовремя не обновил свой сертификат. В браузерах теперь есть кеш моего старого сертификата, и похоже, что они не связываются с моим сервером для запроса нового сертификата. Есть ли уловка с сервером, чтобы заставить клиентов обновлять устаревший сертификат на сервере с поддержкой HSTS?
Используя lighttpd и letsencrypt.
Оказывается, для lighttpd необходимо объединить закрытый ключ и сертификат. После запуска обновления letsencrypt мне просто пришлось регенерировать ssl.pem запустив:
cat privkey.pem cert.pem > ssl.pem
Чувствую себя немного глупо.