Я заинтересован в ручном развертывании решения SAN в Linux со следующими технологиями:
Что касается аппаратного обеспечения, я думаю о 2 коммутаторах GigE (или лучше) с несколькими сетевыми адаптерами GigE на целевых объектах и инициаторах.
Какие рекомендации есть у людей, как настроить это в идеале, исходя из предположения о полном резервировании n + 1 (мин)?
Кроме того, нужен ли мне набор хостов агрегатора в середине «структуры» iSCSI? Что-то вроде этого:
цели (с mdadm) <-gigE-> хост-агрегатор (lvm) <-gigE-> инициаторы
или лучше сделать что-то вроде этого:
цели (без зеркалирования) <-gigE-> хост агрегатора (mdadm) <-gigE-> инициаторы (lvm)
Есть много способов создать это, и мне было бы интересно узнать, какой опыт могли иметь другие, делая что-то подобное?
SAN будет использоваться для образов VMware и общих файловых служб (плюс несколько баз данных, если это возможно).
Это очень субъективный вопрос, который очень зависит от того, чего вы пытаетесь достичь.
Вдобавок вы задаете несколько вопросов довольно низкого уровня, которые заставляют меня думать, что вы раньше не работали на этой арене, и это нормально, мы все начинаем с нуля и повышаем свой уровень оттуда.
Учитывая эти два наблюдения, я предлагаю вам начать с малого и постепенно продвигаться вверх.
[1] Сначала начните с инициатора iSCSI (клиента) и цели iSCSI (сервера), оба на разных хостах. Это может быть прямой кабель или коммутатор, здесь это не имеет значения. Поиграйте с этим некоторое время. Добавьте больше целей, создайте рейд mdadm из ваших целей iSCSI в вашем клинете (не беспокойтесь, если все ваши цели iSCSI оторвутся от одного шпинделя). Затем начните экспериментировать с LVM на своем клиенте. Создайте несколько PV, добавьте их в VG, а затем создайте LV. Расширьте свой LV. Создайте зеркало снимка вашего LV.
По-настоящему копайтесь в LVM, это будет ключ ко всему, что вы делаете.
Затем добавьте второй целевой сервер iSCSI. Я также предлагаю на этом этапе получить приличный коммутатор, поддерживающий LACP и некоторое управление. Коммутаторы серии Procurve 1800 - хороший нижний предел, как и Cisco SG-300. Позже управление переключателями и функции станут более важными, но инвестировать в них сейчас - хорошая идея. На этом этапе с двумя целевыми серверами iSCSI вы захотите повторить то, что вы делали, когда у вас был один сервер. Если вы действительно хотите повеселиться, добавьте второй инициатор и пусть он монтирует те же цели iSCSI. Что произойдет, если вы попытаетесь заставить две системы писать на один и тот же том EXT3? Преобразуйте свой том во что-то вроде GFS (есть еще кое-что, но это цель на данный момент). Что происходит, когда два хоста пишут на один и тот же том?
Теперь давайте добавим по два ник для всех наших клиентов. Теперь вам нужно будет узнать о сетевом соединении [2]. Какие бывают разные режимы, чем они отличаются. Получите инструменты измерения пропускной способности, работающие на каждом конце вашего соединения, заполните ссылку различными режимами связывания. Что происходит, когда вы смешиваете режимы так, что каждый конец не соответствует друг другу? Что происходит, когда вы используете режим, совместимый с LACP, и ваш коммутатор настроен на выполнение LACP [3]? Пена и полоскание повторите то, что вы сделали в отношении хранения выше.
Удалите свои интерфейсы из связанного интерфейса. Назначьте каждому интерфейсу на целевом сервере уникальный IP-адрес. Убедитесь, что ваш целевой сервер будет совместно использовать свои цели iSCSI через каждый интерфейс. Теперь смонтируйте цели iSCSI, используя два разных IP-адреса. Что происходит, когда вы пишете каждому? Теперь настройте multipath [4] и поиграйте с этим некоторое время. Отключите одну из сетевых адаптеров целевого сервера (отключите кабель, если устройство отключено и т. Д.), Что вы видите в журналах? Как производительность улучшается / уменьшается?
Теперь добавьте второй сетевой коммутатор. Вы можете либо удвоить сетевые интерфейсы, либо разделить их по коммутаторам. Какие режимы склеивания вам следует использовать? Следует ли установить связь между двумя переключателями? Вам нужно включить STP?
Теперь вы приближаетесь к концу вашего обучения и приближаетесь к уровню мастера-ученика. Вы не знаете всего этого, но у вас гораздо лучшее основание для понимания, чем у большинства людей. Отсюда вы получите лучшее представление о том, как спроектировать инфраструктуру хранения. Технология изменится, если вы будете использовать оптоволоконный канал или ATAoE, но основные концепции останутся прежними.
Полезные веб-ресурсы:
[1] http://www.cyberciti.biz/tips/rhel-centos-fedora-linux-iscsi-howto.html
[2] http://www.linuxfoundation.org/collaborate/workgroups/networking/bonding
[3] http://en.wikipedia.org/wiki/Link_aggregation
[4] http://sources.redhat.com/lvm2/wiki/MultipathUsageGuide
Я собираюсь открыть это, чтобы все могли редактировать.