Я запускаю службу как root. Эта служба создает пользователя и группу, но не может создать пользователя с указанной выше ошибкой.
как это исправить?
Значения определены в /etc/login.defs. Очевидно, GID_MIN быть больше, чем GID_MAX не имеет смысла, и вы должны иметь возможность просто изменить значения на что-то более понятное.
Это оставляет вопрос, почему значения установлены на это - я предполагаю, что кто-то перепутал что-то при редактировании файла.