У меня установлена ОС серверного ядра с установленными драйверами сетевого и рейд-контроллера. Какие еще драйверы нужны? С графическим интерфейсом вы обычно устанавливаете набор микросхем, vga, аудио (если поддерживается), контроллер sata и т. Д.
На самом деле нет причин не устанавливать все доступные драйверы, особенно чипсет. Отсутствие графического интерфейса пользователя с функцией «укажи и щелкни» не означает, что вы должны оставить свою систему в частично установленном состоянии.