Я пытаюсь установить почтовый сервер, но не заинтересован в покупке ssl-сертификата. Можно ли настроить почтовый сервер без него?
Да, но это категорически не рекомендуется. В этом случае ваши пароли будут открыты через соединение с открытым текстом для аутентификации SMTP и IMAP. Это крайне плохая идея (ИМХО граничит с преступной халатностью).
Однако вам повезло, поскольку Давайте зашифровать сертификаты можно использовать бесплатно, и нет абсолютно никаких причин не использовать их. Более того, если вы все равно найдете причину не использовать их, вы можете даже использовать самозаверяющие сертификаты, но вам придется вручную настроить своих клиентов, чтобы они доверяли им. Это может сработать для небольших сред, и это то, что я делал для своих личных вещей до того, как Let's Encrypt стал доступен.