У меня есть коробка CentOS с 10 дисками по 2 ТБ и контроллером LSI RAID, который используется в качестве сервера NFS.
Я знаю, что собираюсь использовать RAID 1 для создания 5 ТБ полезного пространства. Но с точки зрения производительности, надежности и управления, что лучше, создайте один массив 5 ТБ на контроллере или создайте 5 массивов по 1 ТБ и используйте LVM, чтобы перегруппировать их в один (или несколько) VG.
Мне особенно интересно услышать, почему вы выбрали тот или иной подход.
Спасибо!
Если контроллер позволит вам подготовить 10-дисковый рейд 10 (а не 2 8-дисковых устройства с 2 оставшимися дисками), это, вероятно, будет лучшим выбором. Этим легко управлять, вы получаете хорошую производительность записи благодаря кэш-памяти с автономным питанием, а карта RAID выполняет всю тяжелую работу, мониторинг и управление. Просто установите агент карты RAID в ОС, чтобы вы могли реконфигурировать и отслеживать состояние изнутри ОС, и вы должны быть настроены.
Если все заботиться о карте RAID, качество программного обеспечения на карте становится самым важным фактором. У меня были карты RAID, которые вышли из строя, из-за чего вся подсистема ввода-вывода «ушла» и требовала перезагрузки сервера, у меня даже были случаи, когда карта полностью теряла конфигурацию массива, требуя либо ее осторожной перенастройки с консоли, либо все дело восстанавливать из резервных копий. Вероятность того, что вы с одним вашим сервером столкнетесь с какой-либо конкретной проблемой, невелика, но если бы у вас были сотни или тысячи серверов, вы, вероятно, периодически сталкивались бы с подобными проблемами. Может быть, новое оборудование лучше, у меня давно не было таких проблем.
С другой стороны, возможно и даже вероятно, что планирование ввода-вывода в Linux лучше, чем то, что находится на карте RAID, поэтому представление каждого диска отдельно или в виде 5 блоков RAID 1 и использование LVM для чередования между ними может дать лучшую производительность чтения. Кэш записи с резервным питанием от батареи имеет решающее значение для хорошей производительности записи, поэтому я бы не стал предлагать конфигурацию, в которой нет этой функции. Даже если вы можете представить диски как JBOD и в то же время включить кэш записи с резервным питанием от батареи, использование программного рейда Linux и аппаратного мониторинга smartd сопряжено с дополнительными издержками на управление и сложностью. Его достаточно легко настроить, но вам необходимо выполнить процедуру для устранения сбоев диска, в том числе загрузочного. Это не так просто, как вытащить диск с мигающим желтым светом и заменить. Излишняя сложность может создать место для ошибки.
Поэтому я рекомендую 10-дисковый RAID 10, если ваш контроллер может это сделать, или 5 RAID 1 с чередованием LVM, если он не может. Если вы протестируете свое оборудование и обнаружите, что JBOD и Linux RAID работают лучше, чем его использовать, но вам следует специально протестировать хорошую производительность произвольной записи на большой части диска, используя что-то вроде sysbench, а не просто последовательное чтение с использованием dd.
На самом деле это R10, а не R1 - и я бы использовал именно R10, т.е. пусть ОС видит все десять сырых дисков и управляет ими на 100% программно. Все остальное излишне сложно.
Если вы застряли с логическими модулями 2 ТБ из-за 32-битности где-то, я бы сильно склонился к созданию 5x 1 ТБ RAID1 LUN на карте RAID и помещению их в группу томов, чтобы освободить один большой кусок пространства 5 ТБ. Таким образом карта обрабатывает умножение записи, неявное в отношении RAID1, и вы получаете 5 ТБ пространства.
Если вы можете сделать LUN размером более 2 ТБ, я склоняюсь к созданию одного большого массива на карте RAID. Сила моего бережливого производства ОЧЕНЬ зависит от возможностей рассматриваемой карты RAID. Я не знаю, что это, поэтому не могу вам советовать. Если бы я ему не доверял, я бы остановился на схеме RAID1 5x 1 ТБ.
Я бы посоветовал использовать дорогостоящий рейдовый контроллер для выполнения основной части рейдовой работы. Карты LSI и программное обеспечение, с которым они поставляются, работают довольно хорошо. При правильной настройке они будут отправлять вам электронное письмо, когда с массивом происходят какие-то интересные вещи. Как когда диски выходят из строя. Нет ничего плохого ни в одном из двух вариантов рейдов на программное обеспечение Linux, но вы пошли и купили несколько причудливую рейдовую карту. Пусть делает свою работу.
Сконфигурируйте дисковый массив, чтобы предоставить Linux одно большое устройство. Если вы хотите разбить конечное устройство на небольшие объемы, используйте для этого lvm. Один большой физический том, одна большая группа томов и разделите группу томов на любое количество логических томов, которое вам нужно.