На любом из уровней RAID, использующих чередование, увеличение количества физических дисков обычно увеличивает производительность, но также увеличивает вероятность отказа одного из дисков в наборе. У меня есть идея, что я не должен использовать более 6-8 дисков в одном наборе RAID, но это больше просто переданные знания, а не твердые факты из опыта. Может ли кто-нибудь дать мне хорошие правила с указанием причин максимального количества дисков в комплекте?
Рекомендуемое максимальное количество дисков в системе RAID сильно различается. Это зависит от множества вещей:
Для RAID на основе SATA вам не нужно иметь более 6,5 ТБ необработанного диска, если вы используете RAID5. Пройдите дальше, и RAID6 - гораздо лучшая идея. Это происходит из-за невосстановимого количества ошибок чтения. Если размер массива слишком велик, вероятность возникновения неисправимой ошибки чтения во время восстановления массива после потери становится все выше и выше. Если это произойдет, это очень плохо. Наличие RAID6 значительно снижает эту уязвимость. Однако в последнее время качество дисков SATA улучшается, так что это может измениться еще долго.
Количество шпинделей в массиве меня не особо беспокоит, поскольку на U320 довольно просто получить 6,5 ТБ с дисками 500 ГБ. В этом случае было бы неплохо разместить половину дисководов на одном канале, а половину на другом, чтобы уменьшить количество конфликтов ввода-вывода на стороне шины. Скорости SATA-2 таковы, что даже два диска, передаваемые с максимальной скоростью, могут перегружать шину / канал.
Диски SAS имеют более низкий показатель MTBF, чем SATA (опять же, это начинает меняться), поэтому там правила менее жесткие.
Существуют массивы FC, которые используют диски SATA внутри. Контроллеры RAID там очень сложные, что противоречит эмпирическим правилам. Например, линейка массивов HP EVA группирует диски в «дисковые группы», на которых размещаются LUN. Контроллеры намеренно размещают блоки для LUN в непоследовательных местах и выполняют выравнивание нагрузки на блоки за кулисами, чтобы минимизировать «горячие точки». Это длинный способ сказать, что они делают за вас большую часть тяжелой работы в отношении многоканального ввода-вывода, шпинделей, задействованных в LUN, и работы с избыточностью.
Подводя итог, можно сказать, что частота отказов дисков определяет не количество шпинделей в группе RAID, а производительность. По большей части.
Если вы ищете производительность, важно понимать, какое соединение вы используете для подключения дисков к массиву. Для SATA или IDE вы будете смотреть по 1 или 2 на канал соответственно (при условии, что вы используете контроллер с независимыми каналами). Для SCSI это сильно зависит от топологии шины. Ранний SCSI имел ограничение в 7 идентификаторов устройств на цепочку (то есть на контроллер), одним из которых должен был быть сам контроллер, так что у вас было 6 устройств на цепочку SCSI. Новые технологии SCSI позволяют почти вдвое увеличить это число, так что вы будете смотреть на 12+. Ключевым моментом здесь является то, что общая пропускная способность всех дисков не может превышать пропускную способность межсоединения, иначе ваши диски будут "простаивать" при максимальной производительности.
Имейте в виду, что приводы - не единственное слабое звено здесь; каждое межсоединение без резервирования приводит к единой точке отказа. Если вы мне не верите, настройте массив RAID 5 на одноцепочечном SCSI-контроллере, а затем закоротите контроллер. Вы все еще можете получить доступ к своим данным? Да, я так и думал.
Сегодня все немного изменилось. Приводы не продвинулись много с точки зрения производительности, но наблюдаемый прогресс достаточно значителен, что производительность, как правило, не является проблемой, если вы не работаете с «фермами дисков», и в этом случае вы говорите о совершенно другой инфраструктуре и этот ответ / разговор спорный. Вероятно, вас больше беспокоит избыточность данных. RAID 5 был хорош в свои лучшие дни благодаря нескольким факторам, но эти факторы изменились. Думаю, вы обнаружите, что RAID 10 может вам больше по душе, поскольку он обеспечит дополнительную избыточность от сбоев дисков при одновременном повышении производительности чтения. Производительность записи немного снизится, но это можно уменьшить за счет увеличения числа активных каналов. Я бы предпочел 4-дисковую настройку RAID 10 вместо 5-дисковой RAID 5 в любой день, потому что настройка RAID 10 может пережить (конкретный случай) сбоя двух дисков, тогда как массив RAID 5 просто перевернется и умрет с отказом двух дисков. Помимо обеспечения немного лучшей избыточности, вы также можете смягчить ситуацию «контроллер как единственная точка отказа», разделив зеркало на две равные части, при этом каждый контроллер обрабатывает только полосу. В случае выхода из строя контроллера ваша полоса не пропадет, только зеркальный эффект.
Конечно, это может быть совершенно неверно и для ваших обстоятельств. Вам нужно будет рассмотреть компромисс между скоростью, емкостью и избыточностью. Как в старой инженерной шутке «лучше-дешевле-быстрее, выберите любые два», вы обнаружите, что можете жить с конфигурацией, которая вам подходит, даже если она не оптимальна.
RAID 5 я бы сказал 0 дисков на массив. Видеть http://baarf.com/ или подобные тирады из любого количества других источников.
RAID 6, я бы сказал, 5 дисков + 1 для каждого горячего резерва на массив. Меньше, и вы также можете использовать RAID 10, еще больше, и вы увеличиваете фактор риска, и вам следует перейти на RAID 10.
Уровень RAID 10 может быть сколь угодно высоким.
Я использую 7 как «магическое» максимальное число. Для меня это хороший компромисс между пространством, потерянным для избыточности (в данном случае ~ 14%) и временем на восстановление (даже если LUN доступен во время восстановления) или увеличением размера, и наработкой на отказ.
Очевидно, это отлично сработало для меня при работе с 14-дисковыми корпусами SAN. У двух наших клиентов были корпуса на 10 дисков, и магическое число 7 было уменьшено до 5.
В общем, 5-7 у меня сработали. Извините, у меня тоже нет научных данных, просто опыт работы с системами RAID с 2001 года.
Эффективный максимум - это полоса пропускания RAID-контроллера.
Допустим, чтение с диска не превышает 70 МБ / сек. При пиковой нагрузке вы не можете быстро выгружать данные. Для загруженного файлового сервера (RAID 5) или сервера базы данных (RAID 10) вы можете быстро это сделать.
SATA-2 соответствует спецификации интерфейса 300 МБ / с, SCSI Ultra 320 будет более последовательным. Вы говорите о 6-10 дисках, потому что вы не слишком часто достигаете пика.
Предел дисков в RAID раньше определялся количеством устройств на шине SCSI. К одной шине можно подключить до 8 или 16 устройств, и контроллер считается одним устройством - так что было 7 или 15 дисков.
Следовательно, множество RAID состояло из 7 дисков (один был горячим резервом), что означало, что осталось 6 дисков - или 14 дисков с 1 горячим резервом.
Итак, самое важное в дисках в группе RAID - это, вероятно, необходимое количество операций ввода-вывода в секунду.
Например, SCSI-диск со скоростью 10 тыс. Об / мин может выполнять около 200 операций ввода-вывода в секунду - если у вас их 7 в RAID 5, вы потеряете 1 диск для проверки четности, но затем у вас будет 6 дисков для чтения / записи и теоретический максимум 1200 операций ввода-вывода в секунду - если вы нужно больше IOPS - добавьте больше дисков (200 IOPS на диск).
А более быстрые диски 15k RPM SAS могут достигать 250 IOPS и т. Д.
Кроме того, всегда есть SSD (30 000 операций ввода-вывода в секунду на диск), и они доступны для рейдов (хотя и очень дороги).
И я думаю, что у SAS есть сумасшедшее максимальное количество устройств - например, 16000 дисков.
С RAID6 и SATA у меня был хороший успех с 11 дисками ... И одним горячим резервом (для некоторых неисправных контроллеров потребуется два горячего резерва для восстановления RAID6). Это удобно, поскольку многие JBOD поставляются группами по 12 дисков, например HP MSA60.
Пока вы не достигнете максимальной скорости автобуса в более узком месте цепи (рейд-карта, ссылки), это может иметь смысл. То же самое, когда вы добавляете много сетевых карт 1GbE к своей шине PCI, не имеет никакого смысла.
