cgroups память 16GB потолок

Я пытаюсь использовать cgroups, чтобы ограничить использование памяти пользовательскими процессами на серверах с большим объемом оперативной памяти (128 ГБ и более). Мы хотим зарезервировать около 6 ГБ оперативной памяти для ОС и корневых процессов, а остальное оставить пользователям. Мы хотим быть уверены, что у нас всегда есть свободная память, и мы не хотим, чтобы серверы активно менялись местами.

Это нормально работает, если установлен достаточно низкий лимит (<16 ГБ). Пользовательские процессы правильно назначены cgred для правильной контрольной группы, и как только предел будет достигнут, oom завершит процессы, требующие большого количества памяти.

Проблема возникает, когда мы устанавливаем лимит выше. Затем сервер начнет подкачку, если процесс использует более 16 ГБ оперативной памяти, даже если использование памяти все еще значительно ниже предела и доступно много оперативной памяти.

Есть ли какой-либо параметр или какой-то максимум, который ограничивал бы объем памяти, к которому мы можем предоставить доступ в cgroups?

Вот дополнительная информация:

Я использую следующий код для имитации пользовательских процессов, потребляющих память. Код отслеживает выделенную память в связанном списке, поэтому память используется и доступна изнутри программы, а не просто зарезервирована с помощью malloc (и каждый раз перезаписывает указатель).

/ * Содержимое grabram.c * /

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>



struct testlink {
  void *ram;
  struct testlink *next;
};

int main (int argc, char *argv[]) {

    int block=8192;
    char buf[block];
    void *ram=NULL;
    FILE *frandom;
    int nbproc,i;
    pid_t pID;
  struct testlink *pstart, *pcurr, *pnew;

    if (argc < 2) {
        //nbproc = 1 by default
        nbproc=1;
    } else {
        if (sscanf(argv[1], "%d", &nbproc) != 1) {
                /* it is an error */
            printf("Failed to set number of child processes\n");
            return -1;
            } 
    }

    // open /dev/urandom for reading
    frandom = fopen("/dev/urandom", "r");
    if ( frandom == NULL ) {
        printf("I can't open /dev/urandom, giving up\n");
        return -1;
    }

    fread(&buf, block, 1, frandom); 
    if ( ferror(frandom) ) {
        // we read less than 1 byte, get out of the loop
        printf("Error reading from urandom\n");
        return -1;
    } 
    fclose (frandom);

    // pID=0 => child pID <0 => error, pID > 0 => parent
    for (i=1; i<nbproc; i++){ 
            pID = fork();
        // break out of the loop  if a child
        if (pID == 0)
            break;
        // exit if fork fails
        if (pID < 0) {
            printf("fork() failed, dying \n");
            return -1;
        }

    }
  pstart = (struct testlink*)malloc(sizeof(struct testlink));
  pstart->ram=NULL;
  pstart->next=NULL;
  pcurr = pstart;

    while ( 1==1 ) {
        ram = (void *)malloc(block);
        if (ram == NULL) {
                    printf("can't allocate memory\n");
                    return -1;
        }

        memcpy(ram, &buf, block);

    // store allocated blocks of ram in a linked list
    // so no one think we are not using them
    pcurr->ram = ram;
    pnew = (struct testlink*)malloc(sizeof(struct testlink));
    pnew->ram=NULL;
    pnew->next=NULL;
    pcurr->next=pnew;
    pcurr=pnew;

    }

    return 0;   

}

До сих пор я пытался установить следующие настраиваемые параметры:

vm.overcommit_memory
vm.overcommit_ratio
vm.swappiness
vm.dirty_ratio
vm.dirty_background_ratio
vm.vfs_cache_pressure

Ни одна из этих настроек sysctl не оказала никакого влияния. Сервер начнет подкачку после того, как мой код выше превысит барьер в 16 ГБ, даже если подкачка установлена ​​на 0, переопределение отключено и т. Д. Я даже попытался отключить подкачку, но безрезультатно. Даже без свопа kswapd все равно запускается, и производительность снижается.

Наконец, соответствующее содержимое файла cgconfig.conf

mount {
  cpuset  = /cgroup/computenodes;
  cpu = /cgroup/computenodes;
  memory  = /cgroup/computenodes;
}


#limit = 120G
group computenodes {
# set memory.memsw the same so users can't use swap
  memory {
    memory.limit_in_bytes = 120G;
    memory.memsw.limit_in_bytes = 120G;
    memory.swappiness = 0;
#    memory.use_hierarchy = 1;
  }

# No alternate memory nodes if the system is not NUMA
# On computenodes use all available cores
    cpuset {
        cpuset.mems="0";
        cpuset.cpus="0-47";
    }
}

Наконец, мы используем Centos 6, ядро ​​2.6.32.

Спасибо