У меня есть работающий пул xenserver 6.5 с двумя узлами. Он поддерживается общим ресурсом iscsi в сети хранения данных Dell MD3600i, и это прекрасно работает. Это было создано до меня.
Мы добавили в пул еще три узла. Однако эти три новых узла не будут подключаться к хранилищу.
Вот один из исходных узлов, работающий нормально:
[root@node1 ~]# iscsiadm -m session
tcp: [2] 10.19.3.11:3260,1 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [3] 10.19.3.14:3260,2 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [4] 10.19.3.12:3260,1 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [5] 10.19.3.13:3260,2 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
Вот один из новых узлов. Заметили искажение адреса?
[root@vnode3 ~]# iscsiadm -m session
tcp: [1] []:-1,2 ▒A<g▒▒▒-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [2] 10.19.3.12:3260,1 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [3] 10.19.3.11:3260,1 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [4] 10.19.3.14:3260,2 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
Отсутствует IP-адрес .13, но отсутствует другой узел .12
Комментарии:
У меня есть живые рабочие виртуальные машины на существующих узлах, и мне некуда их переместить, поэтому перезагрузка SAN невозможна.
На исходных узлах многопутевый режим отключен, хотя у san есть 4 интерфейса. Это кажется неоптимальным, поэтому я включил множественный путь на новых узлах.
У трех новых узлов ужасно высокая системная нагрузка. Исходные ящики имеют среднюю нагрузку от 0,5 до 1, а три новых узла находятся примерно на уровне 11,1 без запущенных виртуальных машин. top не показывает процессов с высокой загрузкой ЦП, так что это связано с ядром? Нет процессов, заблокированных в состоянии D (непрерывный сон)
Если я скажу Xencenter «отремонтировать» эти хранилища, он будет часами крутиться, пока я не нажму «Отменить». Сообщение Plugging PDB for node5
Вопрос: Как мне заставить моих новых участников пула xenserver видеть хранилище пула и работать должным образом?
РЕДАКТИРОВАТЬ Дальнейшая информация
Хороший узел пула:
[root@node1 ~]# multipath -ll
36f01faf000eaf7f90000076255c4a0f3 dm-36 DELL,MD36xxi
size=3.3T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='round-robin 0' prio=12 status=enabled
| |- 14:0:0:6 sdg 8:96 active ready running
| `- 15:0:0:6 sdi 8:128 active ready running
`-+- policy='round-robin 0' prio=11 status=enabled
|- 12:0:0:6 sdc 8:32 active ready running
`- 13:0:0:6 sdh 8:112 active ready running
36f01faf000eaf6fd0000098155ad077f dm-35 DELL,MD36xxi
size=917G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='round-robin 0' prio=14 status=enabled
| |- 12:0:0:5 sdb 8:16 active ready running
| `- 13:0:0:5 sdd 8:48 active ready running
`-+- policy='round-robin 0' prio=9 status=enabled
|- 14:0:0:5 sde 8:64 active ready running
`- 15:0:0:5 sdf 8:80 active ready running
Плохой узел
[root@vnode3 ~]# multipath
Dec 24 02:56:44 | 3614187703d4a1c001e0582691d5d6902: ignoring map
[root@vnode3 ~]# multipath -ll
[root@vnode3 ~]# (ie no response at all, exit code was 0)
Плохой узел
[root@vnode3 ~]# iscsiadm -m session
tcp: [1] []:-1,2 ▒A<g▒▒▒-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [2] 10.19.3.12:3260,1 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [3] 10.19.3.11:3260,1 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
tcp: [4] 10.19.3.14:3260,2 iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb (non-flash)
[root@vnode3 ~]# iscsiadm -m node --loginall=all
Logging in to [iface: default, target: iqn.1984-05.com.dell:powervault.md3600i.6f01faf000eaf7f900000000531ae9bb, portal: 10.19.3.13,3260] (multiple)
^C iscsiadm: caught SIGINT, exiting...
Таким образом, он пытается войти в IP-адрес в SAN, но крутит колеса часами, пока я не нажму ^ C.
Если обнаружение iSCSI не работает, вероятно, это связано с тем, что IQN на хосте XenSerever, MD3600i или оба не распознают друг друга. Убедитесь, что MD3600i разрешен доступ со всех ваших IQN на всех хостах XenServer с помощью утилиты Dell MDSM, а затем попробуйте повторить обнаружение iSCSI:
iscsiadm -m discovery -t st -p (MD3600i-первичный-контроллер-IP-адрес)
iscsiadm -m node --loginall = все
iscsiadm -m сеанс
По крайней мере, у вас должна быть возможность выполнить эхо-запрос основного IP-адреса MD3600i со своих XenServers, если у вас есть доступ к сети.
Также обратите внимание, что вам необходимо сначала настроить отдельные интерфейсы iSCSI на сетевых адаптерах, связанных с каждым новым XenServer, и назначить статические IP-адреса тем, которые являются уникальными и находятся в тех же подсетях, что и соединения iSCSI ваших других хостов.
Надеюсь, это поможет, - Тобиас
В завершение было несколько ошибок.
Многолучевость, похоже, не имела никакого отношения к проблеме.
Удаление и возня с файлами в / var / lib / iscsi / * на узлах xenserver не повлияли на проблему.
Мне также пришлось использовать другие средства для перезагрузки этих новых ящиков - они заклинивали, пытаясь остановить службу iscsi.
И, наконец, повреждение имени IQN, видимое в iscsiadm -m session исчез полностью. Возможно, это было связано с несоответствием MTU.
Будущим интернет-поисковикам - удачи!