Почему о вложенных уровнях RAID 1 + 5 или 1 + 6 практически не слышно? В вложенные уровни RAID Статья в Википедии в настоящее время отсутствуют их разделы. Я не понимаю, почему они не более распространены, чем RAID 1 + 0, особенно по сравнению с тройным зеркалированием RAID 1 + 0.
Очевидно, что время восстановления становится все более проблематичным, поскольку емкость дисков увеличивается быстрее, чем их производительность или надежность. Мне сказали, что RAID 1 восстанавливается быстрее и что массив RAID 0 пар RAID 1 позволяет избежать этой проблемы, но, конечно же, массив RAID 5 или 6 пар RAID 1 тоже. Я бы по крайней мере ожидал, что они станут обычной альтернативой RAID 1 + 0.
Вот мои расчеты наивной вероятности обращения к резервному копированию для 16 дисков по 1 ТБ, то есть с упрощающим предположением, что диски независимы с равной вероятностью:
RAID | storage | cumulative probabilities of resorting to backup /m
1+0 | 8TB | 0, 67, 200, 385, 590, 776, 910, 980, 1000, 1000, 1000
1+5 | 7TB | 0, 0, 0, 15, 77, 217, 441, 702, 910, 1000, 1000
1+6 | 6TB | 0, 0, 0, 0, 0, 7, 49, 179, 441, 776, 1000
(m = 0.001, i.e. milli.)
Если это верно, то совершенно очевидно, что RAID 1 + 6 исключительно надежнее, чем RAID 1 + 0, всего за 25% уменьшения емкости хранилища. Как и в общем случае, теоретическая пропускная способность записи (без учета времени поиска) - это емкость хранилища / размер массива × количество дисков × пропускная способность записи самого медленного диска в массиве (уровни RAID с избыточностью имеют более высокое усиление записи для записей, которые не заполнять полосу, но это зависит от размера блока), а теоретическая пропускная способность чтения - это сумма пропускных способностей чтения дисков в массиве (за исключением того, что RAID 0, RAID 5 и RAID 6 теоретически могут быть ограничены самая медленная, вторая по скорости и третья по скорости чтения дисков соответственно). То есть, предполагая, что диски идентичны, это будет соответственно 8 ×, 7 или 6 × максимальная пропускная способность записи и 16 × максимальная пропускная способность чтения.
Кроме того, рассмотрим RAID 0 четырехместный троек RAID 1, т. е. тройное зеркальное отображение RAID 1 + 0 для 12 дисков, и шестерку RAID 6 из пар RAID 1, т. е. RAID 1 + 6 из 12 дисков. Опять же, это идентичные диски емкостью 1 ТБ. Обе схемы имеют одинаковое количество дисков (12), одинаковый объем памяти (4 ТБ), одинаковую долю избыточности (2/3), одинаковую максимальную пропускную способность записи (4 ×) и одинаковую максимальную пропускную способность чтения ( 12 ×). Вот мои расчеты (пока):
RAID | cumulative probabilities of resorting to backup /m
1+0 (4×3) | 0, 0, 18, ?, ?, ?, ?, ?, 1000
1+6 (6×2) | 0, 0, 0, 0, 0, 22, 152, 515, 1000
Да, это может показаться излишним, но там, где тройное зеркалирование используется для разделения клона для резервного копирования, можно использовать RAID 1 + 6, просто заморозив и удалив по одному из каждого диска из всех, кроме двух из RAID. 1, и при этом он по-прежнему имеет гораздо лучшую надежность при ухудшении качества, чем деградированный массив RAID 1 + 0. Вот мои расчеты для 12 дисков, которые ухудшились на 4 таким образом:
RAID | cumulative probabilities of resorting to backup /m
1+0 (4×3) | (0, 0, 0, 0), 0, 143, 429, 771, 1000
1+6 (6×2) | (0, 0, 0, 0), 0, 0, 71, 414, 1000
Пропускная способность чтения, однако, может снизиться до 6 раз за это время для RAID 1 + 6, тогда как RAID 1 + 0 уменьшится только до 8 раз. Тем не менее, если диск выходит из строя, когда массив находится в этом деградированном состоянии, у массива RAID 1 + 6 будет 50–50 шансов остаться на уровне примерно 6 × или быть ограниченным еще до 5 ×, тогда как для массива RAID 1 + 0 будет быть ограниченным до 4 × узкое место. Пропускная способность записи не должна быть затронута (она может даже увеличиться, если диски, взятые для резервного копирования, были самыми медленными дисками).
Фактически, и то, и другое можно рассматривать как «тройное зеркальное отображение», поскольку деградированный массив RAID 1 + 6 способен разделить дополнительную группу RAID 6 из 4 дисков. Другими словами, эту схему RAID 1 + 6 с 12 дисками можно разделить на 3 деградированных (но функциональных) массива RAID 6!
Неужели большинство людей не вникали в математику в деталях? Увидим ли мы больше RAID 1 + 6 в будущем?
Обычно я бы сказал, что RAID 1 + 0 будет более широко использоваться, чем 1 + 5 или 1 + 6, потому что RAID 1 + 0 достаточно надежный и обеспечивает немного лучшую производительность и более удобное хранилище.
Я думаю, что большинство людей восприняло бы отказ полной пары RAID 1 в группе RAID 1 + 0 как невероятно редкое событие, для которого стоит создавать резервные копии - и, вероятно, не слишком увлечены тем, чтобы уменьшить их физическую нагрузку до 50%. диск как полезное пространство.
Если вам нужна надежность лучше, чем RAID 1 + 0, тогда дерзайте! ... но большинству людей это, вероятно, не нужно.
Практический ответ лежит где-то на пересечении технических характеристик аппаратного RAID-контроллера, средних размеров дисков, форм-факторов дисков и конструкции сервера.
Большинство аппаратных RAID-контроллеров ограничены в поддерживаемых ими уровнях RAID. Вот варианты RAID для контроллера HP ProLiant Smart Array:
[raid=0|1|1adm|1+0|1+0adm|5|50|6|60]
примечание: "ADM" - это просто тройное зеркальное отображение
Контроллеры LSI RAID поддерживают: 0, 1, 5, 6, 10, 50, and 60
Таким образом, эти контроллеры поддерживают только RAID 50 и 60 как вложенные уровни. LSI (урожденная Dell PERC) и HP составляют большую часть рынка адаптеров хранения для корпоративных серверов. Это основная причина, по которой вы не видите что-то вроде RAID 1 + 6 или RAID 61 в полевых условиях.
Помимо этого, для вложенных уровней RAID за пределами RAID 10 требуется относительно большое количество дисков. Учитывая увеличивающуюся емкость дисков, доступных сегодня (с 3,5-дюймовыми дисками SAS и SATA), в сочетании с тем фактом, что многие серверные корпуса сконструированы вокруг отсеков для дисков 8 x 2,5 дюйма, возможности для физической настройки RAID 1+ невелики. 6 или RAID 61.
Области, где вы можете увидеть что-то вроде RAID 1 + 6, будут большими программными решениями RAID шасси. Linux MD RAID или ZFS определенно на это способны. Но к тому времени отказ диска может быть уменьшен с помощью дисков горячего или холодного резервирования. В наши дни надежность RAID не является большой проблемой, если вы избегаете токсичных комбинаций уровня RAID и оборудования (например, дисков RAID 5 и 6 ТБ). Кроме того, производительность чтения и записи будет зависеть от уровней многоуровневого хранения и кэширования. Средние рабочие нагрузки хранилища обычно выигрывают от одного или другого.
В конце концов, кажется, что потребности / спроса просто нет.
Вы получаете убывающую отдачу от надежности. Маловероятно, что RAID 6 приведет к сложному отказу даже на неприятных дисках SATA с коэффициентом UBER 1 из 10 ^ 14. На дисках FC / SAS ваш UBER составляет 1 из 10 ^ 16, и вы также получаете значительно большую производительность.
Надежность группы RAID не защищает от случайного удаления. (так что вам все равно нужны резервные копии)
за пределами определенных уровней RAID, ваши шансы на сложный отказ дисков становятся ниже, чем на сложный отказ поддерживающей инфраструктуры (питание, сеть, утечка кондиционера и т. д.)
Напишите штраф. Каждая входящая запись в ваш RAID 61 запускает 12 операций ввода-вывода (наивно выполненных). RAID 6 уже является болезненным в сценариях «низкого уровня» с точки зрения количества операций ввода-вывода на 1 ТБ произвольной записи. (и на более высоком уровне ваша частота отказов в любом случае в 100 раз выше)
это не «сокращение на 25%», это дальше Снижение 25%. Ваши 16 ТБ превращаются в 6 ТБ. Таким образом, вы получаете 37,5% полезной памяти. Вам нужно в 3 раза больше дисков для каждой емкости и в 3 раза больше места в центре обработки данных. Вы, вероятно, получите большую надежность, просто сделав меньшие наборы RAID6. Я не занимался подсчетом чисел, но попробую - например, суммы RAID 6 в 3x 3 + 2 наборах (15 дисков, меньше накладных расходов на хранилище, чем у вашего RAID10). Или вместо этого делать 3х-сторонние зеркала.
Сказав это - это гораздо чаще, чем вы думаете, для многосайтового аварийного восстановления. Я запускаю реплицированные массивы хранения, где у меня есть группы RAID5 / 6 / DP, асинхронно или синхронно с сайтом аварийного восстановления. (Не выполняйте синхронизацию, если вы можете этого избежать - это выглядит хорошо, на самом деле это ужасно).
С моими NetApps это метрокластер с некоторыми зеркальными агрегатами. Вместе с моими VMAX у нас есть Symmetrix Remote Data Facility (SRDF). И мои 3PAR делают удаленное копирование.
Это дорого, но обеспечивает уровни аварийного восстановления «в центре обработки данных».
Что касается тройных зеркал - я использовал их, но не как прямые меры устойчивости RAID, а как полные клоны как часть стратегии резервного копирования. Синхронизируйте третье зеркало, разделите его, смонтируйте на отдельном сервере и сделайте резервную копию, используя совершенно другую инфраструктуру. И иногда поверните третье зеркало как вариант восстановления.
Смысл, который я пытаюсь сделать, заключается в том, что из моего непосредственного опыта в качестве администратора хранилища - в состоянии шпинделя ~ 40000 (да, мы заменяем десятки дисков ежедневно) - нам приходилось делать резервные копии для различных причин за последние 5 лет, но ни одна из них не была отказом группы RAID. Мы действительно обсуждаем относительные достоинства и приемлемое время восстановления, точку восстановления и окна простоя. И в основе всего этого ВСЕГДА лежит цена дополнительной устойчивости.
В нашем массиве все носители очищаются и предсказываются отказы, а также активно проводятся резервные и тестовые диски.
Даже если бы существовала подходящая реализация RAID, рентабельности просто не было бы. Деньги, потраченные на пространство для хранения, лучше инвестировать в более длительное хранение или более частый цикл резервного копирования. Или более быстрая связь. Или просто более быстрые шпиндели, потому что даже при идентичных показателях устойчивости более быстрое восстановление запасных частей увеличивает вероятность отказа вашего соединения.
Поэтому я думаю, что предлагаю ответ на ваш вопрос:
Вы не видите RAID 1 + 6 и 1 + 5 очень часто, потому что экономическая выгода просто не складывается. Учитывая ограниченную сумму денег и в первую очередь необходимость внедрения решения для резервного копирования, все, что вы делаете, - это тратите деньги на снижение частоты простоев. Есть лучшие способы потратить эти деньги.
Современные и продвинутые системы не реализуют подобные формы, потому что они чрезмерно сложные, совершенно ненужные и противоречат какой-либо видимости эффективности.
Как отмечали другие, соотношение необработанного пространства к полезному пространству по существу составляет 3: 1. По сути, это три копии (две дублирующие копии). Из-за затрат на вычисление «raid6» (двойное превышение при зеркалировании) и потери в результате IOPS это очень неэффективно. В ZFS, которая очень хорошо спроектирована и настроена, эквивалентным решением по емкости было бы создание полосы из 3-сторонних зеркал.
В качестве примера, вместо зеркала 6-сторонних форм raid6 / raidz2 (всего 12 дисков), что было бы очень неэффективно (к тому же ZFS не имеет какого-либо механизма для реализации), у вас будет 4 3-сторонних зеркала (также 12 диски). И вместо 1 диска с IOPS у вас будет 4 диска с IOPS. Это огромная разница, особенно с виртуальными машинами. Общая пропускная способность для двух форм может быть очень похожей при последовательном чтении / записи, но полоса 3-сторонних зеркал определенно будет более отзывчивой при случайном чтении / записи.
Подводя итог: raid1 + 6 в целом непрактичен, неэффективен и, что неудивительно, ни один серьезный специалист по хранению данных не подумал бы о разработке.
Чтобы прояснить несоответствие IOPS: с зеркалом форм raid6 / raidz2 при каждой записи все 12 дисков должны действовать как один. Полная форма не может разделить действие на несколько действий, которые несколько фигур могут выполнять независимо. С полосой из 3-сторонних зеркал каждая запись может быть чем-то, с чем должно иметь дело только одно из 4-х зеркал, поэтому другая запись, которая поступает, не должна ждать, пока вся фигура омнибуса справится, прежде чем смотреть на дальнейшие действия .
Поскольку никто не сказал об этом прямо: производительность записи Raid6 ненамного хуже. Под нагрузкой это ужасно, не поддается описанию.
Последовательная запись в порядке, и пока кеширование, слияние записи и т. Д. Может скрыть ее, все выглядит нормально. При высокой нагрузке все выглядит плохо, и это основная причина, по которой установка 1 + 5/6 почти не используется.
Проблема в том, что запись искать усиление ведет себя совершенно иначе, чем запись пропускная способность усиление. Минимальное усиление пропускной способности записи с контролем четности происходит, когда вся полоса записывается сразу (назовем это прилагательное `` полная полоса ''), но минимальное усиление поиска записи происходит, наоборот, когда вся запись после поиска в виртуальном устройстве помещается в один кусок. Прежде чем вдаваться в подробности, взаимосвязи гораздо легче представить в виде таблицы:
RAID | write throughput amplification factor | write seek amplification factor
| full-stripe (e.g.) | single-chunk | full-stripe | single-chunk
0 | 1 ; 1 | 1 ; 1 | n ; 12 | 1 ; 1
1 | n ; 12 | n ; 12 | n ; 12 | n ; 12
5 | n/(n - 1) ; ~1.1 | min [3, n] ; 3 | n ; 12 | min [3, n] ; 3
6 | n/(n - 2) ; 1.2 | min [5, n] ; 5 | n ; 12 | min [5, n] ; 5
*1+0 | n₁ ; 3 | n₁ ; 3 | n ; 12 | n₁ ; 3*
1+5 | n/(n₅ - 1) ; 2.4 | expr₁ ; 5 | n ; 12 | expr₁ ; 5
*1+6 | n/(n₆ - 2) ; 3 | expr₂ ; 8 | n ; 12 | expr₂ ; 8*
expr₁ = 2n₁ + min [1, n₅ - 2]
expr₂ = 3n₁ + min [2, n₆ - 3]
где n - общее количество дисков, n₁ - количество дисков в группах RAID 1, а n₅ и n₆ - количество групп в массивах RAID 5 или RAID 6 соответственно. Примеры относятся к примеру с 12 дисками в вопросе (соответствующие строки: "*bolded*’); примеры для уровней RAID 1 + 0, 1 + 5, 1 + 6: 4 × 3, 6 × 2, 6 × 2 соответственно.
Обратите внимание, что только коэффициент увеличения пропускной способности записи полной полосы напрямую связан с долей избыточности. Случаи единичного фрагмента более сложны для тех, у кого есть четность. Они возникают из-за того, что запись одного фрагмента требует чтения наиболее простого из фрагментов четности или других фрагментов данных перед записью фрагментов четности вместе с новым фрагментом данных. (Они не являются непосредственно мультипликативными, потому что индуцированные чтения должны вместо этого умножаться на соответствующий коэффициент усиления пропускной способности чтения / поиска для RAID 1, оба равны 1; см. Ниже.)
К сожалению, выбор размера блока, который сводит к минимуму это дополнительное увеличение пропускной способности записи, имеет побочный эффект: максимизация усиление поиска записи. Для крошечных записей с незначительным временем записи по сравнению со временем поиска производительность записи с чередованием с очень маленьким размером блока (чтобы быть полнополосным) составляет только 1 ×, как при зеркалировании, поскольку для этого требуется, чтобы все диски блоки для каждой записи и полученная пропускная способность от мобилизации всех этих дисков не имеют значения. Он разделил соотношение времени записи и времени поиска на количество дисков в массиве, но для крошечных записей это уже было незначительным. Было бы бессмысленно использовать такой маленький размер блока, чтобы даже крошечные записи были полными полосами. Если записи достаточно малы, чтобы почувствовать эффект поиска, лучше всего, чтобы они умещались в одном блоке.
RAID | large contiguous write throughput | concurrent tiny writes throughput
| full-stripe | single-chunk | full-stripe | single-chunk
0 | n× ; 12× | n× ; 12× | 1× ; 1× | n× ; 12×
1 | 1× ; 1× | 1× ; 1× | 1× ; 1× | 1× ; 1×
5 | (n - 1)× ; 11× | max[n/3, 1]×; 4× | 1× ; 1× | max[n/3, 1]×; 4×
6 | (n - 2)× ; 10× | max[n/5, 1]×; 2.4× | 1× ; 1× | max[n/5, 1]×; 2.4×
*1+0 | n₀× ; 4× | n₀× ; 4× | 1× ; 1× | n₀× ; 4× *
1+5 | (n₅ - 1)×; 5× | expr₃× ; 2.4× | 1× ; 1× | expr₃× ; 2.4×
*1+6 | (n₆ - 2)×; 4× | expr₄× ; 1.5× | 1× ; 1× | expr₄× ; 1.5×*
expr₃ = n/(2n₁ + min [1, n₅ - 2]) = max [n/(2n₁ + 1), n/(2n₁ + n₅ - 2)]
expr₄ = n/(3n₁ + min [2, n₆ - 3]) = max [n/(3n₁ + 2), n/(3n₁ + n₆ - 3)]
Примечание. Средние 2 столбца пропускной способности можно игнорировать, учитывая разумный размер блока, который больше, чем записи, для которых время поиска является значительным, но достаточно мал, чтобы большие записи выполнялись с полной полосой. Большой размер блока 2-го столбца пропускной способности больше похож на составные диски. «Крошечная» запись - это когда влияние пропускной способности незначительно.
Неприемлемо малый размер блока также увеличивает эффект усиления поиска при чтении, хотя и не так сильно и только в случае полной полосы.
RAID | read throughput amplification factor | read seek amplification factor
| full-stripe | single-chunk | full-stripe (e.g.) | single-chunk
0 | 1 | 1 | n to n; 12 | 1
1 | 1 | 1 | 1 to n; 1–12 | 1
5 | 1 | 1 | n - 1 to n; 11–12 | 1
6 | 1 | 1 | n - 2 to n; 10–12 | 1
*1+0 | 1 | 1 | n₀ to n; 4–12 | 1 *
1+5 | 1 | 1 | n₅ - 1 to n; 5–12 | 1
*1+6 | 1 | 1 | n₆ - 2 to n; 4–12 | 1 *
Примечание: «to n» означает, что, когда одновременно выполняется только одно чтение, теоретически возможно мобилизовать все диски для поиска в соответствующие места и коллективного чтения данных для максимальной производительности непрерывного чтения.
RAID | large contiguous read throughput | concurrent tiny reads throughput
| full-stripe (e.g.)| single-chunk | full-stripe | single-chunk
0 | n× ; 12× | n× ; 12× | 1× ; 1× | n× ; 12×
1 | n× ; 12× | n× ; 12× | n× ; 12× | n× ; 12×
5 | n× ; 12× | n× ; 12× | n/(n - 1)× ; ~1.1× | n× ; 12×
6 | n× ; 12× | n× ; 12× | n/(n - 2)× ; 1.2× | n× ; 12×
*1+0 | n× ; 12× | n× ; 12× | n₁× ; 3× | n× ; 12×*
1+5 | n× ; 12× | n× ; 12× | n/(n₅ - 1)× ; 2.4× | n× ; 12×
*1+6 | n× ; 12× | n× ; 12× | n/(n₆ - 2)× ; 3× | n× ; 12×*
Примечание. Опять же, средние 2 столбца пропускной способности можно игнорировать, учитывая разумный размер блока. 3-й столбец пропускной способности снова тесно связан с долей резервирования.
Однако достаточно большой размер блока означает, что крошечные чтения никогда не будут полными. Таким образом, при эффективной реализации и соответствующем размере блока производительность чтения должна быть пропорциональна количеству идентичных дисков, если они не ухудшены.
Так что на самом деле «коэффициент усиления» намного сложнее, чем формула в вопросе, где рассматривалось только усиление с полной полосой пропускания. В частности, производительность записи 6 × 2 RAID 1 + 6 для параллельных операций записи, которые достаточно малы для ограничения поиска, будет хуже, чем у 4 × 3 RAID 1 + 0. И для крошечных записей, которые все являются поисковыми, производительность может быть только примерно в 3 раза от производительности 4 × 3 RAID 1 + 0 в лучшем случае (то есть при идеальной реализации).
Решив эту проблему, сравнение с 12 дисками не имеет явного победителя:
| 4×3 RAID 1+0 | 6×2 RAID 1+6
number of identical 1TB drives | 12 | 12
storage capacity | 4TB | 4TB
redundancy proportion | 2/3 | 2/3
large contiguous write throughput | 4× | 4×
large contiguous read throughput | 12× | 12×
concurrent tiny writes throughput |*4× | 1.5×
concurrent tiny reads throughput | 12× | 12×
safe number of random drive loses | 2 |*5
12 - 1 large write throughput | 4× | 4×
12 - 1 large read throughput | 8× |*11×
12 - 1 tiny writes throughput |*4× | ~1.42×
12 - 1 tiny reads throughput | 8× |*~9.33×
can split-off a copy for backup | yes[1] | yes[1]
2-site failover | yes | yes
2-copy large write throughput | 4× | 4×
2-copy large read throughput |*8× | 6×
2-copy tiny writes throughput |*4× | ~1.28×
2-copy tiny reads throughput |*8× | 6×
2-copy safe random drive loses | 1 |*2
2-copy - 1 large write throughput | 4× | 4×
2-copy - 1 large read throughput | 4× |*5× or 6×[2]
2-copy - 1 tiny writes throughput |*4× | ~1.46× or 1.2×[2]
2-copy - 1 tiny reads throughput | 4× |*3.6x or 6×[2]
can be divided into 3 full copies | yes | yes
3-site failover | yes | yes
1-copy large write throughput | 4× | 4×
1-copy large read throughput | 4× | 4×
1-copy tiny writes throughput |*4× | ~0.85×
1-copy tiny reads throughput |*4× | 2×
1-copy safe random drive loses | 0 | 0
complexity |*simple | more complex
Примечание 1: Полная копия сохраненных данных представляет собой четырехкратный RAID 0 или 4/6 деградированный массив RAID 6. Примечание 2. Существует даже вероятность того, что сбой диска отключит одну из 4 поврежденных пар RAID 1 или ухудшит работу одной из 2 нормальных пар.
Тем не менее, производительность чтения будет вдвое выше, чем у массива RAID 6 из 6 дисков, а крошечная пропускная способность записи должна быть на 25% лучше (1,5 / 1,2) из-за того, что требуемые операции чтения будут разделены между парами RAID 1, а RAID 6, очевидно, делает. есть подходящие приложения, поэтому в приложениях с высокой доступностью, которые имеют большие записи или которые больше озабочены производительностью чтения, чем производительностью записи, возможно, есть является ниша для RAID 1 + 6 в конце концов. Но это не все…
Это пока только в теории (в основном комбинаторика), на практике сложность будет означать, что реализации RAID 1 + 6 могут иметь недостатки, которые упускают возможности и не позволяют достичь теоретических результатов. RAID 6 уже является более сложным, и вложение добавляет к этому немного больше сложности.
Например, не сразу очевидно, что 6 × 2 RAID 1 + 6 можно абстрагировать как наличие 3 независимых виртуальных считывающих головок, способных одновременно читать 3 непрерывных больших чтения с 4-кратной пропускной способностью каждая, точно так же, как 4x3 RAID 1 + 0. Простое вложение 6 пар RAID 1 в массив RAID 6 с использованием программного RAID может быть не таким элегантным; реализация может быть глупой и трэшевой (хотя я еще не проверял эту гипотезу).
Сложность также представляет собой повышенную стоимость разработки реализаций и инструментов. Даже несмотря на то, что могут быть приложения, которые могут выиграть от такого вложения, улучшения могут не окупить затрат на разработку.