Разрешить sudo через SSH, запретив вход в систему через TTY

Я хочу заблокировать пользователей от локального входа в систему (клавиатура и монитор), но все же разрешить удаленный вход с помощью SSH.

Легко достижимо с passwd -l и ssh-copy-id.

Но что насчет sudo? Я хочу сохранить пароль для sudo, но не для локального доступа.

изменить: система работает на Ubuntu Server 18.04.3 64bit