Я установил пару идентичных серверов с RAID-массивами (8 ядер, 16 ГБ ОЗУ, 12x2 ТБ RAID6), 3 интерфейса 10GigE для размещения некоторых высокодоступных сервисов.
В настоящее время системы работают под управлением старой стабильной версии Debian 7.9 Wheezy (поскольку corosync / pacemaker недоступны в стабильной версии 8.x и для тестирования).
Однако независимо от того, как я настраиваю DRBD, пропускная способность ограничена 100 МБ / с. Это действительно похоже на какой-то жестко запрограммированный предел. Я могу надежно снизить производительность, настроив настройки, но она никогда не превышает 1 Гбит (122 МБ / с достигаются на пару секунд за раз). Я действительно тяну за волосы к этому.
Конфигурация разделена на два файла: global-common.conf:
global {
usage-count no;
}
common {
handlers {
}
startup {
}
disk {
on-io-error detach;
# no-disk-flushes ;
}
net {
max-epoch-size 8192;
max-buffers 8192;
sndbuf-size 2097152;
}
syncer {
rate 4194304k;
al-extents 6433;
}
}
и cluster.res:
resource rd0 {
protocol C;
on cl1 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.1:7788;
meta-disk internal;
}
on cl2 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.2:7788;
meta-disk internal;
}
}
Выход из cat /proc/drbdна раб:
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
[>....................] sync'ed: 0.1% (16103024/16107384)M
finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec
Выход из vmstat 2 на мастере (обе машины почти полностью простаивают):
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 0 14952768 108712 446108 0 0 213 254 16 9 0 0 100 0
0 0 0 14952484 108712 446136 0 0 0 4 10063 1361 0 0 99 0
0 0 0 14952608 108712 446136 0 0 0 4 10057 1356 0 0 99 0
0 0 0 14952608 108720 446128 0 0 0 10 10063 1352 0 1 99 0
0 0 0 14951616 108720 446136 0 0 0 6 10175 1417 0 1 99 0
0 0 0 14951748 108720 446136 0 0 0 4 10172 1426 0 1 99 0
Выход из iperf между двумя серверами:
------------------------------------------------------------
Client connecting to cl2, TCP port 5001
TCP window size: 325 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 6.87 GBytes 5.90 Gbits/sec
По-видимому, начальная синхронизация должна быть несколько медленной, но не такой медленной ... Более того, она не реагирует ни на какие попытки снизить скорость синхронизации, например drbdadm disk-options --resync-rate=800M all.
В более новых версиях DRBD (8.3.9 и новее) есть динамический контроллер повторной синхронизации, который требует настройки. В более старых версиях DRBD настройка syncer {rate;} было достаточно; теперь он используется больше как легкое начальное место для скорости динамической повторной синхронизации.
Контроллер динамической синхронизации настраивается с помощью «c-settings» в разделе «Диск» конфигурации DRBD (см. $ man drbd.conf для получения подробной информации о каждой из этих настроек).
При 10 Гбит / с между этими узлами и при низкой задержке, поскольку используется протокол C, следующая конфигурация должна ускорить работу:
resource rd0 {
protocol C;
disk {
c-fill-target 10M;
c-max-rate 700M;
c-plan-ahead 7;
c-min-rate 4M;
}
on cl1 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.1:7788;
meta-disk internal;
}
on cl2 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.2:7788;
meta-disk internal;
}
}
Если вы все еще недовольны, попробуйте повернуть max-buffers до 12к. Если вы все еще недовольны, вы можете попробовать появиться c-fill-target с шагом 2M.
Кто-то в другом месте предложил мне использовать эти настройки:
disk {
on-io-error detach;
c-plan-ahead 0;
}
net {
max-epoch-size 20000;
max-buffers 131072;
}
И производительность отличная.
Редактировать: Согласно предложениям @Matt Kereczman и других, я наконец изменился на это:
disk {
on-io-error detach;
no-disk-flushes ;
no-disk-barrier;
c-plan-ahead 0;
c-fill-target 24M;
c-min-rate 80M;
c-max-rate 720M;
}
net {
# max-epoch-size 20000;
max-buffers 36k;
sndbuf-size 1024k ;
rcvbuf-size 2048k;
}
Скорость ресинхронизации высокая:
cat /proc/drbd
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
ns:133246146 nr:0 dw:2087494 dr:131187797 al:530 bm:0 lo:0 pe:5 ua:106 ap:0 ep:1 wo:d oos:4602377004
[>....................] sync'ed: 2.8% (4494508/4622592)M
finish: 1:52:27 speed: 682,064 (646,096) K/sec
Скорость записи отличная во время повторной синхронизации с этими настройками (80% локальной скорости записи, полная скорость передачи):
# dd if=/dev/zero of=./testdd bs=1M count=20k
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,3731 s, 731 MB/s
Скорость чтения в порядке:
# dd if=testdd bs=1M count=20k of=/dev/null
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,4538 s, 729 MB/s
Позже отредактируйте:
После полной повторной синхронизации производительность очень хорошая (скорость записи по сети, чтение с локальной скоростью). Повторная синхронизация выполняется быстро (5/6 часов) и не сильно ухудшает производительность (считывание скорости передачи данных, запись скорости передачи данных). Я определенно останусь с c-plan-advance на нуле. С ненулевыми значениями повторная синхронизация слишком долгая.
c-plan-advance необходимо установить положительное значение, чтобы включить динамический контроллер скорости синхронизации. диск
c-plan-ahead 15; // 5 * RTT / 0.1s unit,in my case is 15
c-fill-target 24;
c-max-rate 720M;