У меня была оригинальная программная настройка RAID 5 под Ubuntu 10.04.03, 3 устройства, 64 КБ. Производительность была приемлемой:
# 4GB write
dd if=/dev/zero of=ddfile.big bs=1MB count=4k
4095290816 bytes (4.1 GB) copied, 51.743 s, 79.1 MB/s
# 4GB read
dd if=ddfile.big of=/dev/null
4095290816 bytes (4.1 GB) copied, 62.5932 s, 65.4 MB/s
Затем я перешел к программному RAID 6 с 3 устройствами (2 были помечены как отсутствующие, необходимо скопировать данные с них), блок 128k. Я также установил LVM на новом массиве. Производительность была ужасно плохой:
# 4GB write
dd if=/dev/zero of=ddfile.big bs=1MB count=4k
4096000000 bytes (4.1 GB) copied, 106.406 s, 38.5 MB/s
# 4GB read
dd if=ddfile.big of=/dev/null
4096000000 bytes (4.1 GB) copied, 129.317 s, 31.7 MB/s
Я пытаюсь понять, что вдвое замедлило чтение и запись. Может быть, LVM? Или деградированное состояние нового массива рейдов? Или это может быть разница в размере блока (64 КБ против 128 КБ)? Помимо этого, я использую ext4 для файловой системы, без параметров.
Шокирует количество ошибок в этой ситуации.
Я перешел на программный RAID 6 с 3 устройствами
Массив RAID-6 имеет две четности. Это означает, что для каждого записанного бита (по сути) выполняется два вычисления, по одному для каждой четности. Использование RAID-6 в массиве с числом меньше 5 не рекомендуется (а меньше 4 контрпродуктивно!). По сути, вы делаете слишком много работы без всякой выгоды.
2 были отмечены как пропавшие без вести
И здесь ДЕЙСТВИТЕЛЬНО начинает идти под откос. Вы используете RAID-6 с отсутствием двух устройств. Значит, вы рассчитываете паритет и кладете его .. некуда? (Привет всем, у кого есть опыт работы с программным RAID-6, это правда? Он все еще вычисляет? Если да, то сбрасывается или пытается записать четность на диск?)
И любой выигрыш, который вы могли бы получить от нескольких шпинделей, полностью исключается, потому что вы не иметь любые другие используемые шпиндели.
Производительность была ужасно плохой
На данный момент это не настолько шокирующе, сколько очевидно. Вы делаете кучу вещей без всякой пользы.
Итак, что нужно сделать?
Задайте себе несколько вопросов. Зачем вам RAID-6? Это потому, что он более отказоустойчив, чем RAID-5? Если это так, вы должны понимать, от каких режимов отказа RAID-6 вас защищает:
Имеет две паритеты. Это срабатывает всякий раз, когда происходит сбой диска, затем его заменяют, а во время восстановления выходит из строя другой диск. Это обычно случается, когда вы получаете плохую партию дисков или когда ваши диски постоянно подвергались сильному нагреву (вероятно, выше, чем вы думаете). Кроме того, существует вероятность неисправимой ошибки чтения (URE) примерно один раз на каждые 10 ^ 14 прочитанных бит (что немного превышает 11 ТБ данных). Если это происходит во время восстановления RAID, это плохо, и RAID-6 может это защитить.
Расскажите подробнее о массиве, который вы хотите построить. Зачем вы его строите, какой должна быть емкость и какая производительность вам нужна? Обладая этой информацией, мы можем дать вам рекомендации.
Ваша проблема в отсутствии дисков. При отсутствии одного из дисков производительность RAID 5 сильно падает. RAID 6 ухудшается при отсутствии 2 дисков. В основном системе необходимо восстанавливать четность для каждого блока, отсюда и замедление.
Вы должны получить как минимум такую же хорошую производительность после замены отсутствующих дисков и завершения восстановления рейда.