Комбинация ZFS и оборудования для получения Raid 51
Я ищу решения RAID для очень большого файлового сервера (70 + ТБ, ТОЛЬКО обслуживающий NFS и CIFS). Я знаю, что использование ZFS raid поверх аппаратного рейда вообще противопоказано, однако я оказался в необычной ситуации.
Лично я предпочитаю устанавливать большие RAID-51 виртуальные диски. То есть два зеркальных RAID5, каждый из которых имеет 9 данных + 1 горячую резервную копию (поэтому мы не теряем СЛИШКОМ много места для хранения). Это облегчает мою административную паранойю, поскольку данные отражаются на двух разных дисковых шасси, при этом допуская сбой 1 диска в каждом зеркале, заданном до наступления кризиса.
ОДНАКО этот вопрос проистекает из того факта, что у нас есть существующие аппаратные RAID-контроллеры (интегрированное дисковое шасси LSI Megaraid + сервер), лицензированные ТОЛЬКО для RAID5 и 6. У нас также есть существующая файловая система ZFS, которая предназначена (но еще не настроена) для обеспечения высокой доступности с помощью RFS-1.
Из того, что я вижу в документации, ZFS не предоставляет решения RAID-51.
Предлагается использовать аппаратный рейд для создания двух виртуальных дисков RAID5 одинакового размера на каждом шасси. Эти два виртуальных диска RAID5 затем представляются своим серверам как / dev / sdx.
Затем используйте ZFS + RFS-1 для зеркалирования этих двух виртуальных дисков в качестве зеркального набора HA (см. Изображение)
Это хорошая идея, плохая идея или просто уродливая (но удобная) конфигурация.
Есть ли лучшие решения?
Интересный вопрос ...
Я удивлен использованием RSF-1. Вы видели мой путеводитель по ZFS в Linux с высокой доступностью?
Можно спроектировать то, что вы описали выше, но это может быть слишком сложно.
По отдельности ни одна из этих проблем не связана:
Использование ZFS в режиме высокой доступности, безусловно, нормальное явление.
И используя ZFS на аппаратном RAID хорошо.
Проблема с вашим дизайном заключается в том, что вы привносите в решение больше сложности, потери производительности и большего количества точек отказа.
Рабочие нагрузки CIFS и NFS могут выиграть от кэширования ZFS, поэтому это также должно учитывать топологию.
Если вы застряли с оборудованием и не можете спланировать решение с общим шасси с дисками SAS с несколькими путями, лучше всего создать два домена сбоя и построить решение без общего доступа или переоценить требования и определить приемлемые потери. Например. от каких режимов и ситуаций отказов вы защищаете?
Если бы у меня было оборудование, которое вы описали выше, я бы построил два сервера хранения как отдельные узлы; обозначить один как основной, другой как второстепенный и использовать форму непрерывного Асинхронная репликация ZFS с первичного на вторичный. Это можно безопасно делать с интервалом в 15 секунд даже в загруженных системах.
Если вы хотите использовать оба сервера одновременно, вы можете обслуживать разные наборы данных на каждом и реплицировать в обоих направлениях. Если вам нужно иметь дело с аппаратным RAID на каждом узле, это нормально. Вы по-прежнему сможете использовать кэширование ZFS RAM, управление томами, сжатие и, возможно, устройства L2ARC и SLOG.
Конструкция проще, производительность будет максимальной, это открывает возможность использовать более быстрые кэширующие диски и устраняет необходимость в дисках пула данных SAS. Вы также можете добавить географическое разделение между узлами или ввести третий узел, если необходимо.