Зачем использовать RAID 1 и LVM для файлового сервера?
Я системный администратор по совместительству, и официальной документации мало. Наш главный файловый сервер был настроен в 2010 году кем-то, кого уже нет даже в институте. В то время требовалось наличие трех общих файловых систем: /home с квотой на пользователя и резервным копированием, /usr/remote для больших программных пакетов и /scratch без квоты и без бэкапа. Покопавшись в дисках, я нашел LVM и RAID-контроллер с проприетарным ПО.
Судя по всему, на сервере 14 дисков емкостью 1 ТБ каждый. Они соединены парами с помощью RAID 1. RAID-контроллер (Areca Technology Corp. ARC-1280 / 1280ML, 24-портовый PCI-Express для RAID-контроллера SATA II) поддерживает RAID 5 и 6 (спецификации), но это почему-то не использовалось. Затем одна пара используется в качестве корневого раздела для этого сервера, /. Остальные шесть пар связаны в одну группу LVM, и тогда эта группа имеет три раздела.
Я спросил о причинах, и один из высокопоставленных людей смог только сказать мне, что человек, который его создал, якобы знал значительную долю LVM и действительно думал об этом. Но я не вижу преимуществ этой установки. Я вижу только недостатки:
У нас есть 12 дисков с 1 ТБ необработанного хранилища, при объединении в пары мы получаем только 6 ТБ фактически используемого пространства. Используя RAID 5 со всеми этими дисками, мы получили бы 11 ТБ хранилища, а с RAID 6 это было бы 10 ТБ. Даже если мы возьмем два набора по шесть дисков в RAID 6, это все равно будет 8 ТБ полезного пространства.
В худшем случае сбой диска - это целая пара, тогда часть LVM будет потеряна, и я думаю, что в основном система будет прикручена. В лучшем случае отказ диска - по одному из каждой пары, так что это будет семь сломанных дисков. Так что с точки зрения избыточности мы не лучше RAID 5 в худшем случае.
С RAID 6 у нас будет два резервирования, и мы все равно сможем использовать гораздо больше места по сравнению с текущей настройкой. Так в чем же решающее преимущество этого, которое побудило людей создать его таким образом?
С RAID 6 у нас будет два резервирования, и мы все равно сможем использовать гораздо больше места по сравнению с текущей настройкой. Так в чем же решающее преимущество этого, которое побудило людей создать его таким образом?
Это правда, но вместе с большей емкостью и гарантированным резервированием двух дисков вы получите гораздо более низкую производительность при произвольных операциях записи по сравнению с RAID10 (на мой взгляд, лучшая настройка в вашем случае). Для резервных копий - это может быть нормально, для общих ресурсов пользователей и другой нагрузки под вопросом. Кроме того, старые жесткие диски имеют более высокий риск отказа во время восстановления RAID5 / 6.
Предпосылка: я согласен с тем, что массив RAID6 имел бы большой смысл. Однако при таком большом количестве относительно больших дисков я настоятельно рекомендую избегать RAID5 из-за высокой вероятности отказа второго диска во время восстановления.
Однако RAID6 значительно снижает производительность. особенно во время перестройки. Именно по этой причине в установках, критичных к производительности, я обычно использую RAID10 или чередование зеркальных пар (примечание: следует избегать RAID 0 + 1 или зеркалирования по чередующимся парам из-за более низкой устойчивости).
Судя по спецификациям, опубликованным вами выше, кажется, что контроллер Areca не поддерживает RAID10 или другие вложенные режимы RAID. Если старый системный администратор решил избегать RAID6 из-за его производительности и больших затрат времени на перестройку, объединение отдельных массивов в большую группу томов было более простым подходом.
Тем не менее, это не самый эффективный подход: поскольку массивы просто объединяются, производительность потоковой передачи с низкой глубиной очереди (то есть: последовательное чтение / запись одного процесса) будет привязана к производительности одной зеркальной пары. Чтобы этого избежать, поверх зеркальных пар следует поместить еще один программный слой RAID0 - либо через простой md или новее striped Настройка LVM.
Мы можем только догадываться, но такая установка мне кажется вполне разумной. Плюсы, которые я вижу, включают -
Аварийное восстановление - даже если это проприетарный контроллер, вполне вероятно, что диск RAID1 может быть прочитан другим контроллером в случае отказа основного контроллера.
Скорость - спецификации контроллера ничего не говорят о скорости для RAID1 или RAID6 - но его вероятные диски RAID1 будут работать значительно быстрее, чем другие варианты для сильно разбросанных рабочих нагрузок, поскольку здесь нет вычислений.
Расширяемость - вполне возможно, он начал с меньшего массива и просто добавлял пары со временем. Это будет значительно проще, чем перенастройка диска. (Хотя немного странно, что все диски в этом случае по 1 ТБ)
Более высокая избыточность и более быстрое восстановление в случае определенных сбоев. (Из любопытства, используются ли диски в каждой половине RAID разными моделями или партиями? Если да, то это может свидетельствовать о преднамеренном размышлении о режимах отказа)
Хотя я бы также дал / включил LVM, было бы разумно хранить его отдельно, чтобы упростить настройку. Кроме того, 9 лет назад RAID6 был не так распространен, поскольку диски были меньше, поэтому потребность в нем была меньше.
хорошая диаграмма! :-)
Да, это кажется немного странным. Без конкретных сведений о марке / модели мы не знаем, было ли это сделано из-за ограничений оборудования или чего-то еще, но если я не удивлюсь, это произошло из-за чего-то другого, кроме непонимания доступных вариантов RAID или непонимание того, как его настроить. Возможно, они действительно хорошо знали LVM и просто придерживались того, что знали.
Я обычно рекомендую полагаться на аппаратный рейд, если он доступен по соображениям стабильности и производительности.