Я только что получил новый сервер Dell R730xd 2U с лицевой панелью 12 * 3,5-дюймовых отсеков для дисков + 4 * 3,5-дюймовых отсека для среднего корпуса, расположенных над модулями оперативной памяти и процессорами. Я подключил 16 * HGST Helium 8Tb 7200 RPM SAS 12Gb / s дисков и запустил фоновую инициализацию 2 * 8 * 8Tb томов RAID6.
Я запрашиваю температуру дисков с помощью smartctl. В то время как передние приводы ожидаемо холодные в диапазоне от 33 ° C до 37 ° C, средние приводы № 14..17 имеют 45 ° C, 46 ° C, 51 ° C, 54 ° C - последнее, что меня больше всего беспокоит, это перегрев. Инициализация длилась всего несколько часов.
iDRAC сообщает, что температура воздуха на входе 22 ° C, а на выходе - 44 ° C. Вентиляторы вращаются со скоростью ~ 4,3 тыс. Об / мин. Они крутятся со скоростью ~ 15к, если крышка снята.
Тепловизор показывает, что № 17 - самый горячий с температурой корпуса 47 ° C.
Я еще не уверен, есть ли что-нибудь с конкретным диском или это касается местоположения диска - проверим, удалив виртуальный диск и поменяв местами два диска - обновлю этот пост с наблюдениями.
Согласно спецификациям производителя, нормальная рабочая температура окружающей среды составляет до 60 ° C (ссылка на сайт)
На мой взгляд, повышенная температура влияет на долговечность диска.
Однако два задних диска с гибким отсеком на моем старом R720xd имеют скорость 15kRPM и всегда были около 55C, все еще живы через 3+ года.
Вдобавок я попросил HGST поддержать их позицию.
Еще одна тема, посвященная сбоям сервера, указывает на исследование Google, в котором говорится, что через несколько лет T стал фактором. (ссылка на сайт)
UPD1 (20151102): Производитель быстро ответил: «Этот привод может работать при температурах от 5 до 60 C. Привод обычно должен работать при температуре ниже 50 C. Если он работает при стабильной температуре 55 C, то он немного горячее, чем обычно, но все еще в безопасном диапазоне ".
UPD2: я поменял местами # 14 и # 17 - перегрев зависит от местоположения, правая сторона (если смотреть спереди назад) теплее, чем левая сторона, и бывшее место # 14 на месте # 17 показывало верхние 56C, а бывшее # 17 в # 14 сиденье было прохладно при 40-45С. Настройка iDRAC-> Оборудование-> Вентиляторы-> Настройка-> Смещение скорости вращения вентилятора на «Смещение низкой скорости вентилятора (+ 23%)» (6,8 тыс. Об / мин на холостом ходу против 4,4 тыс. Об / мин по умолчанию, выполнение RAID init) привело к максимальным температурам для # 14 и # 17 от 49C и 54C до 40C и 47C. Установка вентиляторов на 15kRPM (установив реакцию по умолчанию на сторонние карты PCI - у меня есть одна) увеличивает температуру до 34C и 39C за счет дополнительного энергопотребления +120 Вт (340 Вт против 230 Вт).
Конечно, я не использую диски, одобренные Dell. В настоящее время Dell не предлагает накопителей на 8 ТБ для этого сервера, а SAS на 6 ТБ стоит 830 долларов за штуку. У меня есть 8 ТБ Helium SAS за 498 долларов, в результате чего стоимость ТБ до RAID со 138 до 62 долларов. Позже я понял, что фирменное ПО Dell (и поддерживаемое Lifecycle Controller) может лучше взаимодействовать с охлаждением, а также получать обновления прошивки через LC.
Еще один приятный сюрприз для меня - замена местами №14 и №17 не привела к перестроению RAID - контроллер просто подбирал диски в новых местах, не говоря ни слова в логах.
UPD 20160426: Теперь, развернув несколько R730xd с 12 + 4, оснащенными HGST 8T 12G SAS или Seagate 8Tb 12G SAS, я заметил, что во всех из них # 14 на ~ 10C холоднее, чем # 17, и частичное решение, чтобы довести его до 40-47C. Диапазон - увеличить настройку скорости вентиляторов в iDRAC до + 30%.
Все, что ниже 55-60 C, должно быть в порядке. В любом случае, что действительно опасно для механического привода, так это повторные термические экскурсии, где привод нагревается и быстро остывает. Не менее опасны повторяющиеся циклы спинонов / спин-офф.
Как заявляет EEAA, если это поддерживаемая установка от DELL, не бойтесь.
Я добавляю это как указатель на некоторые более актуальные исследования, которые новее, чем работа Google, и, кажется, имеют некоторую строгость в своей методологии.
Backblaze, люди из хранилища, сделали анализ зависимости интенсивности отказов от температуры по модели привода, и в большинстве случаев не находят корреляции. Для трех моделей (две Seagate Barracudas и Hitachi Deskstar) корреляция имеет статистическую значимость (они не говорят, каков порог значимости, но я предполагаю, что это стандартное с медицинской точки зрения 95%, исходя из цифр), и в одном из этих случаев он довольно сильный.
Их вывод, который я воспроизвожу полностью, заключается в том, что
В целом нет корреляции между рабочей температурой и интенсивностью отказов. Единственным исключением являются диски Seagate Barracuda емкостью 1,5 ТБ, которые несколько чаще выходят из строя, когда нагреваются.
Пока диски работают в допустимом диапазоне рабочих температур, охлаждение не имеет значения.
Так что в вашем случае я бы сказал, что у вас не было никаких серьезных проблем. (Отказ от ответственности: я не имею отношения к Backblaze.)
Производители серверов ставят много денег на проектирование своих систем, чтобы они были надежными и работали в рамках спецификации для любых сторонних компонентов, которые могут быть включены. Dell не будет давать гарантии на эти диски, если ожидается, что они будут иметь короткий срок службы.
Если Dell говорит, что это поддерживаемая конфигурация, не беспокойтесь об этом. Современное снаряжение - это много более устойчивы к высоким температурам, чем снасти даже 10-15 лет назад. У вас есть RAID, и вы защищены от сбоев двух дисков. ИМХО, вы должны потратить свое время на работу над чем-то другим, кроме того, чтобы задумываться о тепловом управлении этого сервера.