Мне неприятно говорить «не используйте SATA» в критических производственных средах, но я видел такую ​​ситуацию довольно часто. Диски SATA обычно не предназначены для описываемого вами рабочего цикла, хотя вы приводы, специально рассчитанные на круглосуточную работу в вашей настройке. По моему опыту, диски SATA могут выходить из строя непредсказуемым образом, часто затрагивая весь массив хранения, даже при использовании RAID 1 + 0, как вы это сделали. Иногда диски выходят из строя, что может привести к остановке всей шины. Следует отметить, используете ли вы в своей установке расширители SAS. Это может повлиять на то, как сбой диска повлияет на оставшиеся диски.

Но, возможно, имело смысл пойти с средние / ближние (7200 об / мин) диски SAS по сравнению с SATA. По сравнению с SATA есть небольшая надбавка к цене, но диски будут работать / отказываться более предсказуемо. Исправление ошибок и создание отчетов в интерфейсе / протоколе SAS более надежны, чем в наборе SATA. Так что даже с приводами чья механика такая же, разница в протоколе SAS могла предотвратить боль, которую вы испытали во время сбоя накопителя.

Как один диск может вывести из строя массив? Ответ заключается в том, что этого не должно быть, но это зависит от того, что вызывает сбой. Если диск должен умереть таким образом, он не должен его отключать. Но возможно, что это «крайний случай», с которым контроллер не справится.

Вы наивны, полагая, что этого не должно происходить? Нет, не думаю. Такая аппаратная карта RAID должна была решить большинство проблем.

Как это предотвратить? Вы не можете ожидать таких странных крайних случаев. Это часть работы системного администратора ... но вы можете работать над процедурами восстановления, чтобы они не повлияли на ваш бизнес. Единственный способ попытаться исправить это прямо сейчас - либо попробовать другую аппаратную карту (вероятно, не то, что вы хотели бы делать), либо заменить диски на диски SAS вместо SATA, чтобы увидеть, является ли SAS более надежным. Вы также можете связаться с поставщиком карты RAID, рассказать им, что произошло, и посмотреть, что они говорят; в конце концов, это компания, которая должна специализироваться на знании тонкостей неустойчивой электроники приводов. У них может быть больше технических советов о том, как работают приводы, а также о надежности ... если вы сможете найти нужных людей для разговора.

Вы что-то упустили? Если вы хотите убедиться, что в накопителе произошел краевой сбой, извлеките его из массива. Массив будет ухудшен, но у вас не должно быть больше странных замедлений и ошибок (кроме состояния ухудшенного массива). Вы говорите, что сейчас он вроде работает нормально, но если у него есть ошибки чтения с диска, вам следует заменить диск, пока это возможно. Диски с большой емкостью иногда могут иметь ошибки URE (лучшая причина не запускать RAID 5, примечание), которые не появляются до тех пор, пока не выйдет из строя другой диск. И если вы столкнулись с крайним поведением этого одного диска, вы не хотите, чтобы поврежденные данные переносились на другие диски в массиве.

Я не эксперт, но сделаю дикий снимок в темноте, основываясь на моем опыте работы с RAID-контроллерами и массивами хранения.

Диски выходят из строя по-разному. К сожалению, диски могут выйти из строя или выйти из строя, что серьезно скажется на их производительности, но контроллер RAID не считает это отказом.

Если диск выходит из строя очевидным образом, любое программное обеспечение RAID-контроллера должно достаточно хорошо определять отсутствие ответа от диска, удалять его из пула и запускать любые уведомления. Однако я предполагаю, что здесь происходит необычный сбой диска, который по какой-то причине не вызывает сбой на стороне контроллера. Поэтому, когда контроллер выполняет сброс записи или чтение с затронутого диска, требуется много времени, чтобы вернуться назад и, в свою очередь, зависает вся операция ввода-вывода и, следовательно, массив. По какой-то причине этого недостаточно, чтобы RAID-контроллер перешел в режим «ах, отказавший диск», вероятно, потому, что в конечном итоге данные возвращаются.

Мой совет - немедленно заменить вышедший из строя диск. После этого я бы посмотрел на конфигурацию вашей RAID-карты (это 3ware, я думал, они были довольно хороши) и выяснил, что она считает неисправным диском.

P.S. хорошая идея импортировать SMART в кактусы.

Вам нужны функции устройств хранения корпоративного класса. В частности, корпоративные диски WD RE 4 имеют две функции, необходимые для предотвращения такого поведения в массивах RAID. Первая из перечисленных ниже технологий предотвращает вращательную гармоническую вибрацию, вызывающую ненужный износ механических компонентов жесткого диска. Вторая технология - это то, что вызвало вашу проблему, протокол SATA не имеет этой функции. Чтобы получить эти функции, вам понадобится SAS, и если вы настаиваете на дисках SATA, вы можете приобрести карты SAS to SATA Interposer, такие как LSISS9252.

Усовершенствованная технология RAFF Сложная электроника контролирует привод и корректирует как линейную, так и вращательную вибрацию в реальном времени. В результате значительно улучшена производительность в условиях высокой вибрации по сравнению с приводами предыдущего поколения.

Ограниченное по времени восстановление после ошибок (TLER), ориентированное на RAID. Предотвращает выход диска из строя, вызванный расширенными процессами восстановления жесткого диска после ошибок, характерными для дисков настольных ПК.

http://en.wikipedia.org/wiki/Error_recovery_control#Overview

Также см. Ссылку ниже:

http://en.wikipedia.org/wiki/Error_recovery_control#Raid_Controllers

См. Также: Документ Western Digital TLER, в котором подробно объясняется процесс устранения ошибок. Восстановление после ошибок Предотвращение Fallout на жестких дисках WD Caviar RAID Edition Serial ATA:

http://www.3dfxzone.it/public/files/2579-001098.pdf

Просто предположение: жесткие диски настроены так, чтобы повторять попытку чтения при ошибках, а не сообщать об ошибке. В то время как это желательное поведение в настройках рабочего стола, оно контрпродуктивно в RAID (где контроллер должен перезаписать любой сектор, который не читает с других дисков, чтобы диск мог переназначить его).

мой выстрел в темноте:

• диск 7 выходит из строя. у него есть окна ошибок, где он недоступен.

• на диске 8 тоже есть «более легкие» ошибки; исправлено повторной попыткой.

• RAID10 обычно представляет собой «RAID0 из нескольких пар RAID1», являются ли диски 7 и 8 членами одной пары?

Если это так, то, похоже, вы попали в «не должно происходить» в случае отказа двух дисков в одной и той же паре. почти единственное, что может убить RAID10. К сожалению, это может случиться, если все ваши диски из одной партии, поэтому вероятность их одновременного выхода из строя несколько выше.

Я предполагаю, что во время сбоя диска 7 контроллер перенаправил все чтения на диск 8, поэтому любая повторная попытка ошибки вызывала большие задержки, которые вызывали лавину замороженных задач, снижая производительность на некоторое время.

вам повезло, что диск 8, похоже, еще не мертв, поэтому вы сможете исправить без потери данных.

Я бы начал с замены обоих дисков и не забыл проверить кабели. Причиной этого может быть слабое соединение, и, если оно не маршрутизируется надежно, это с большей вероятностью произойдет на соседних дисках. Кроме того, некоторые многопортовые карты имеют несколько двухпортовых разъемов, если привод 7 и диск 8 подключены к одному и тому же разъему, это может быть источником ваших проблем.

Карты SATA Interposer - еще одно решение.

Я недавно испытал точно такую ​​же судьбу и нашел эту ветку. Общий смысл в том, что SAS протокол лучше подходит для RAID, чем SATA, потому что у SATA отсутствуют функции. Вот почему те же физические диски оснащены контроллерами SAS, которые затем продаются как Nearline SAS.

Продолжая поиски, я обнаружил:

http://www.lsi.com/products/storagecomponents/Pages/LSISS9252.aspx

Я собираюсь обновить одно из своих хранилищ партией таких устройств. Прямо сейчас разница в цене между 3 ТБ SATA и SAS составляет 400% (обычная цена, тот же бренд, спецификации и магазин, Германия). Я, конечно, не могу сказать, работает ли эта стратегия, но попробовать стоит.

Комментарии очень приветствуются :-)

Я видел, как SATA-диск со сломанной электроникой надежно блокировал инициализацию прошивки Areca 12, не было возможности получить доступ к BIOS, не говоря уже о загрузке машины с любого носителя, пока неисправный жесткий диск не был обнаружен путем извлечения дисков в двоичном формате поиск моды.