У меня есть экземпляр (с 2 дисками) на Ganeti с деградированными обоими дисками (возможно, из-за проблемы с подключением?). Этот экземпляр работал исправно много лет до сегодняшнего утра.
На моем хозяине
$ gnt-instance info myinstance
...
-disk/0
on primary: /dev/drbd4 (147:4) in sync, status *DEGRADED*
on secondary: /dev/drbd4 (147:4) in sync, status *DEGRADED*
child devices:
- child 0: lvm, size 20.0G
logical_id: kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_data
on primary: /dev/kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_data (254:10)
on secondary: /dev/kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_data (254:8)
- child 1: lvm, size 128M
logical_id: kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_meta
on primary: /dev/kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_meta (254:11)
on secondary: /dev/kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_meta (254:9)
...
На основном узле
$ cat /proc/drbd
4: cs:NetworkFailure ro:Primary/Unknown ds:UpToDate/DUnknown C r----
ns:678399926 nr:0 dw:678315292 dr:25942012 al:22230 bm:16189 lo:0 pe:196 ua:0 ap:195 ep:1 wo:b oos:0
На вторичном узле
$ cat /proc/drbd
4: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r----
ns:0 nr:678340009 dw:678340009 dr:0 al:0 bm:14884 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
Я не могу ни перезагрузить, ни выключить экземпляр (время ожидания истекло).
Я думаю, что это НЕ проблема разделения мозга, потому что нет «автономного», и на первичном узле это «Первичный / Неизвестный», а на вторичном - «Вторичный / Неизвестный».
Я попытался запустить «drbdadm connect all» на вторичном узле, но это ничего не дало.
Я попытался заменить диск, но это не удалось:
gnt-instance replace-disks -s myinstance
Thu Jun 2 11:32:00 2016 Replacing disk(s) 0, 1 for myinstancel
Thu Jun 2 11:36:00 2016 - WARNING: Could not prepare block device disk/1 on node primaryNode (is_primary=False, pass=1): Error while assembling disk: drbd5: cannot activate, unknown or unhandled reason
Thu Jun 2 11:38:01 2016 - WARNING: Could not prepare block device disk/0 on node primaryNode (is_primary=True, pass=2): Error while assembling disk: drbd4: cannot activate, unknown or unhandled reason
Thu Jun 2 11:40:02 2016 - WARNING: Could not prepare block device disk/1 on node primaryNode (is_primary=True, pass=2): Error while assembling disk: drbd5: cannot activate, unknown or unhandled reason
Failure: command execution error:
Disk consistency error
А теперь это выглядит так:
$ gnt-instance info myinstance
...
-disk/0
on primary: /dev/drbd4 (147:4) in sync, status *DEGRADED*
(no more secondary)
child devices:
- child 0: lvm, size 20.0G
logical_id: kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_data
on primary: /dev/kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_data (254:10)
on secondary: /dev/kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_data (254:8)
- child 1: lvm, size 128M
logical_id: kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_meta
on primary: /dev/kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_meta (254:11)
on secondary: /dev/kvmvg/299a0bdf-1acb-4bcd-ac43-eb02b0928757.disk0_meta (254:9)
На основном узле
$ cat /proc/drbd
4: cs:NetworkFailure ro:Primary/Unknown ds:UpToDate/DUnknown C r----
ns:678399926 nr:0 dw:678315292 dr:25942012 al:22230 bm:16189 lo:0 pe:196 ua:0 ap:195 ep:1 wo:b oos:0
И на вторичном узле:
$ cat /proc/drbd
...
4: cs:Unconfigured
5: cs:Unconfigured
Есть идеи, как это решить?
Версия DRBD: 8.3.7
Версия Ганети: 2.4.5
ОС: Debian 6.0
Изучив еще немного, я обнаружил, что на первичном узле был процесс kvm zombie:
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
17520 root 20 0 0 0 0 Z 613 0.0 13922:24 kvm <defunct>
Я не знала, как от этого избавиться.
Я попытался перенести все первичные экземпляры (у меня было всего 2) с этого узла, но это не удалось (ошибка, связанная с bdrm). Я перезагрузил узел. При выключении машины завис из-за drbd. Сообщение было примерно таким:
No response from the DRBD driver! Is the module loaded?
Итак, я нажал кнопку, чтобы выключить машину. Машина перезагрузилась (без ошибок), и через несколько минут экземпляры Ganeti запустились автоматически.
На главном узле я запустил:
$ gnt-instance info myinstance
...
on primary: /dev/drbd4 (147:4) *RECOVERING* 12.80%, ETA 288s, status *DEGRADED*
on secondary: /dev/drbd4 (147:4) *RECOVERING* 12.80%, ETA 275s, status *DEGRADED* *UNCERTAIN STATE*
....
Подождав несколько минут, восстановление было завершено, и теперь оно синхронизировано.
Вывод: теперь все в порядке, но мне жаль, что мне не пришлось перезагружать узел.
Спасибо gf_ за вашу помощь.