В течение долгого времени я слышал о том, насколько плоха идея большого (> 5 ТБ?) Массива RAID-5 просто потому, что существует высокий риск отказа другого диска.
Удалось ли RAID-Z1 исправить это для массива любого размера (если вам абсолютно необходимо число, рассмотрите 4x2TB или 5x2TB)? Может быть, это более безопасный способ повторной репликации данных, который не так интенсивен на всех дисках?
Неужели RAID-Z так же плох, как R5, нет. Так ли он хорош как R1 или R10, обычно нет.
RAID-Z знает о белых пятнах на дисках, а R5 - нет. Таким образом, RAID-Z должен только прочитать области с данными, чтобы восстановить недостающий диск. Кроме того, данные не обязательно распределяются по всем дискам. Очень маленький файл мощь находятся только на одном диске с четностью на другом диске. Из-за этого RAID-5 должен будет прочитать ровно столько данных, сколько пространство, используемое в массиве (если 1 МБ используется в массиве 5 ТБ, тогда при перестроении нужно будет прочитать только 1 МБ).
Иначе говоря, если большая часть большого массива заполнена, то необходимо будет считать большую часть данных со всех дисков. По сравнению с R1 или R10, где данные нужно извлечь только с одного диска (на каждый отказавший диск; если несколько дисков выходят из строя, только в ситуациях, когда массив все еще можно восстановить).
Что вас беспокоит, так это тот факт, что при каждой операции чтения сектора есть шанс найти сектор, который был записан неправильно или больше не читается. Для типичного диска в наши дни это около 1x10 ^ -16 (не все диски равны, поэтому посмотрите спецификации на своих дисках, чтобы выяснить их рейтинг). Это происходит невероятно редко, но примерно раз в 1 ПБ; для массива 10 ТБ есть 1% шанс, что ваш массив является тостом, и вы не узнаете об этом, пока не попытаетесь его восстановить.
ZFS также помогает снизить этот шанс, поскольку заметны большинство нечитаемых секторов. перед вы начинаете пытаться восстановить свой массив. Если вы регулярно очищаете свой массив ZFS, операция очистки улавливает эти ошибки и обходит их (или предупреждает вас, чтобы вы могли заменить диск, если вы это делаете так). Они рекомендуют чистить диски корпоративного уровня от одного до четырех раз в месяц; и диски потребительского класса не реже одного раза в неделю или чаще.
Даже с учетом того, что здесь изложен один из других ответов, а именно, что ZFS работает только с фактически используемыми блоками, а не с пустым пространством, да, все еще опасно создавать большой RAIDZ1 vdev. Большинство пулов в конечном итоге загружены не менее чем на 30-50%, многие доходят до рекомендованного максимума 80% (некоторые проходят мимо него, я настоятельно рекомендую вам не делать этого вообще из соображений производительности), так что ZFS работает только с использованными блоками не большая победа. Кроме того, некоторые другие ответы звучат так, как будто плохое чтение является причиной проблемы. Это не так. Небольшая гниль внутри блока - это не то, что вас здесь навредит, обычно это другой диск, который просто выходит из строя, в то время как восстановление с первого диска из строя все еще продолжается, что вас убьет ... и на дисках 3 ТБ в большом raidz1 это может занять несколько дней, даже недели для переноса данных на новый диск, так что ваши шансы на это не малы.
Моя личная рекомендация клиентам - никогда не использовать RAIDZ1 (эквивалент RAID5) с дисками> 750 ГБ, просто чтобы избежать множества потенциальных неприятностей. Я был в порядке, когда они нарушили это правило по другим причинам (в системе есть резервная копия где-то еще, данные не так важны и т. Д.), Но обычно я делаю все возможное, чтобы продвигать RAIDZ2 как минимальный вариант с большими диски.
Кроме того, по ряду причин я обычно рекомендую не размещать более 8-12 дисков в полосе raidz2 или 11-15 дисков в полосе raidz3. Вы должны быть на нижнем уровне этих диапазонов с дисками 3 ТБ, и, возможно, вы можете быть в порядке на верхнем уровне этих диапазонов на дисках 1 ТБ. То, что это поможет удержать вас от мысли о том, что еще больше дисков выйдет из строя во время выполнения resilver, - это только одна из этих причин, но очень важная.
Если вы ищете разумные практические правила (отредактируйте 10.04.15 - я написал эти правила, имея в виду только вращающиеся диски), потому что они также логичны [зачем вам делать менее 3 дисков в raidz1], они имеют смысл даже для пулов SSD, но пулы, полностью состоящие из SSD, не приходили мне в голову, когда я писал их):
Некоторые из преимуществ RAID-Z по сравнению с традиционным RAID-5 заключаются в том, что он не требует специального оборудования и является более надежным, поскольку позволяет избежать дыр для записи в RAID-5.
Однако и RAID-Z, и RAID-5 не выдерживают более одного отказа диска.
Если вы хотите пережить отказ двух дисков с ZFS, вы можете использовать RAIDZ2, и отказ трех дисков RAIDZ3.