Systemd перезапускает службу или система просто не позволяет службе выделить больше памяти?
Настройка MemoryLimit
справедливые причины systemd
запустить службу в cgroup с настроенным лимитом памяти. Служба должна решить, как справиться с исчерпанием ресурсов.