Позволяет ли Proxmox защищать гостевые логины с помощью таких ключей, как RSA, или только на основе пароля?
Можно ли на хосте также защитить ключи ssh?
Если вы просите использовать ssh-ключи для SSH-соединения: да, конечно. Хост и Гости - стандартная ОС со стандартным пакетом SSH, поэтому вы можете защитить его с помощью ключей ssh.
Если вы просите использовать ключи ssh для защиты веб-доступа к интерфейсу хоста: Нет, это невозможно, но вы можете использовать двухфакторную авторизацию с помощью аутентификатора Google.