Назад | Перейти на главную страницу

Проблема с обновлением ProLiant DL580 G7 E7

Я ИТ-администратор, а также много лет ремонтирую настольные компьютеры и серверы.

У нас есть DL580 G7, срок гарантии которого истек 31.12.2015. Первоначально поставляемый с Xeon E7530 и стандартными картриджами памяти, мы недавно обновили его до картриджей памяти E7-4870 и E7. С тех пор у нас большие проблемы с обеспечением его работы. Чтобы найти проблему, я провел последовательный тест:

1) PROC1 = A, PROC2 = B, PROC3 = X, PROC4 = X, POST = TRUE
2) PROC1 = C, PROC2 = D, PROC3 = X, PROC4 = X, POST = TRUE
3) PROC1 = A, PROC2 = X, PROC3 = B, PROC4 = X, POST = FALSE
4) PROC1 = A, PROC2 = X, PROC3 = X, PROC4 = B, POST = TRUE
5) PROC1 = A, PROC2 = C, PROC3 = X, PROC4 = B, POST = TRUE
6) PROC1 = A, PROC2 = C, PROC3 = D, PROC4 = B, POST = FALSE
7) PROC1 = E, PROC2 = F, PROC3 = X, PROC4 = X, POST = TRUE
8) PROC1 = E, PROC2 = X, PROC3 = F, PROC4 = X, POST = TRUE
9) PROC1 = E, PROC2 = G, PROC3 = F, PROC4 = H, POST = TRUE

A, B, C, D - E7-4870 (SLC3T) 130 Вт TDP
E, F, G, H - E7530 (SLBRJ) 105 Вт TDP
X - пустое гнездо

ИСТИНА = публикация сервера и запуск ОС (WS2012 R2 DataCenter)
FALSE = сервер зависает перед публикацией (отображается последний почтовый код 4048 на ilo3, затем почтовый индекс исчезает и нет видео, тот же результат подключен к порту VGA)

Серверные части:
DL580 G7 (584087-421)
Материнская плата (512843-001 / 591196-001)
Плата ЦП (583367-001 / 591197-001)
Плата ввода-вывода (512844-001 / 591199-001)
Плунжерный картридж E7 (650761-001 / 647058-001)
Стандартный плунжерный патрон (617524-001 / 591198-001)
Димм оперативной памяти Micron 4 ГБ (500203-061)
4xPSU 1200Вт (438203-001 / 498152-001)

Системное ПЗУ P65 01.10.2013 (сброс на значения по умолчанию)
Версия прошивки iLO 1.85

Согласно кратким характеристикам Hp для данного конкретного сервера ProLiant, серия E7-4800 поддерживается только в DL580 G7 CTO (643086-B2x) и предварительно сконфигурированных моделях (6430xx-xx1 / 6967xx-xx1). Насколько я знаю, основное отличие от начального уровня - это картриджи E7. Материнская плата, плата ЦП и плата ввода-вывода имеют одинаковые номера деталей.

Подводя итог, кажется, что сервер не отправляет сообщения, когда сокет PROC3 установлен с E7-4870 (протестируйте на нем все четыре 4870, результат тот же). Я подозреваю, что у этого разъема проблемы с электричеством / питанием, потому что TDP выше E7530.

Я планирую сначала заменить плату процессора, любые советы приветствуются.

Кто-нибудь из вас уже сталкивался с такой проблемой?

Мы только что обновили три процессора DL580 G7 модели 584084-001 до процессоров Xeon E7-4870. Мы обнаружили, что в нашей среде имеет значение версия основной системной платы (а не плата процессора / лоток или переходная плата SPI). Прочитав этот последний ответ, я проверил iLO, чтобы проверить все наши версии PAL. У нас есть один сервер с 4 процессорами E7-4870 с 1 ТБ памяти на плате ЦП с версией PAL 0x10.

Мы обнаружили, что до тех пор, пока системная плата MainIO (часть HP 512843-001) имеет версию 0B или более позднюю, она работает. Два из трех серверов имели версию 0A платы MainIO, и они не публиковались с новыми процессорами. В этих системах мы заменили только материнскую плату, и в результате получился рабочий сервер.

Все просто работало на сервере с новой версией платы MainIO, поэтому мы сначала попытались переместить его лоток ЦП / памяти на серверы, которые не работали. Когда они все еще не работали, мы решили, что проблема заключается вне лотка ЦП / памяти. Ревизия на плате MainIO была единственной разницей между нерабочими серверами и рабочим.

Мы заказывали платы у обычного поставщика, но не могли указать ревизию. Мы просто заказали и проверили ревизию перед установкой.

РЕДАКТИРОВАТЬ: добавление диагностической информации о наших рабочих версиях CPLD / PAL:

Server 1:
 - CPLD PAL0:   ProLiant DL580 G7 SPI Board PAL version 0x0F
 - CPLD PAL1:   ProLiant DL580 G7 MainIO Board PAL version 0x0F
 - CPLD PAL2:  ProLiant DL580 G7 CPU Board PAL version 0x0E

Server 2:
 - CPLD PAL0:   ProLiant DL580 G7 SPI Board PAL version 0x0F
 - CPLD PAL1:   ProLiant DL580 G7 MainIO Board PAL version 0x0F
 - CPLD PAL2:   ProLiant DL580 G7 CPU Board PAL version 0x0F

Server 3:
 - CPLD PAL0:   ProLiant DL580 G7 SPI Board PAL version 0x10
 - CPLD PAL1:   ProLiant DL580 G7 MainIO Board PAL version 0x11 bootleg
   0x10
 - CPLD PAL2:   ProLiant DL580 G7 CPU Board PAL version 0x10

Как ewwhite уведомил об этом, я просто проигнорировал серьезную проблему совместимости.

Наконец-то я получил в руки модель 643086-B21 CTO, оснащенную двумя E7-8837 на PROC1 и PROC2.

Выполнен последовательный тест (I, J - E7-8837, SLC3N, 130 Вт TDP):

1) PROC1 = I, PROC2 = J, PROC3 = X, PROC4 = X, POST = TRUE (картриджи E7 dimm)
2) PROC1 = A, PROC2 = B, PROC3 = C, PROC4 = D, POST = TRUE (картриджи E7 dimm)
3) PROC1 = E, PROC2 = F, PROC3 = G, PROC4 = H, POST = TRUE (стандартные димм-картриджи)

Системное ПЗУ - P65 01.10.2013

Как видите, все работает нормально (процессоры 4xE7-4870 и 4xE7530).

CTO Серверные части:
Материнская плата (512843-001 / 591196-001)
Плата ЦП (583367-001 / 591197-001)
Плата ввода-вывода (512844-001 / 591199-001)

По сравнению с моделью 584057-421, оборудование, p / n платы точно такие же.

Так в чем же разница?

В этом типе серверов каждая плата (SPI, MainIO, CPU) имеет собственное ПЗУ микросхемы (Lattice EEPROM / Flash), названное CPLD для сложного программируемого логического устройства и PAL для логики программируемого массива. Это может объяснить, почему некоторые серверы Hp ProLiant так долго загружаются.

Вы можете увидеть версию номера в меню iLO3 в разделе Информация / Диагностика / Результаты самотестирования iLO:

Для DL580 G7 CTO p / n 643086-B21:

CPLD - PAL0 = плата ProLiant DL580 G7 SPI PAL версия 0x10 (каталожный номер 591199-001, наклейка с решетчатым чипом = SPI PAL, 512844v4, 6470)
CPLD - PAL1 = ProLiant DL580 G7 MainIO Board PAL версия 0x11 bootleg 0x10 (p / n 591196-001, наклейка с решетчатым чипом = Sys PAL, 20110215, 5290)
CPLD - PAL2 = плата ЦП ProLiant DL580 G7, версия PAL 0x10 (каталожный номер 591197-001, наклейка с решетчатым чипом = CPLD, 0x1010, EB96)

Для DL580 G7 p / n 584087-421:

CPLD - PAL0 = Плата ProLiant DL580 G7 SPI PAL версии 0x0F (каталожный номер 591199-001, наклейка с решетчатым чипом = SPI PAL, R18, 3484)
CPLD - PAL1 = ProLiant DL580 G7 MainIO Board PAL версии 0x0E (p / n 591196-001, наклейка с решетчатым чипом = Sys PAL, R18, 6D87)
CPLD - PAL2 = Плата процессора ProLiant DL580 G7 PAL версии 0x0E (каталожный номер 591197-001, наклейка с решетчатым чипом = CPLD, R18, B5B6)

Для двух DL580 G7 (загрузка на двух серверах, обновление CPLD не требуется):

CPLD - PAL3 = ProLiant DL580 G7 Combo PCIe и плата PCI-X PAL версии 0x06 (каталожный номер 591204-001, наклейка с решетчатым чипом = CPLD, R18, 80B6)
CPLD - PAL3 = Стандартная плата PCIe ProLiant DL580 G7 PAL версии 0x06 (каталожный номер 591205-001, наклейка с решетчатым чипом = CPLD, R18, 80B6)

Примечание: 4xE7-4870 с платой процессора PAL v0x10 не загружается на DL580 G7 p / n 584087-421. Поэтому заменить / обновить плату ЦП недостаточно, вам также необходимо заменить / обновить платы MainIO / SPI (не тестировались отдельно).

Как показали тесты, CTO DL580 G7 поддерживает процессоры E7500, поэтому обновление микропрограмм CPLD на стандартном сервере не вызовет проблем с совместимостью. Поэтому, если вы планируете обновить свой стандартный сервер DL580 G7 процессорами E7, вам придется обновить чипы CPLD. К сожалению, я нигде не нашел обновления прошивки CPLD для серверов DL580 G7. Кажется, что Hp не предлагает его для загрузки, и я сомневаюсь, что они когда-нибудь будут. Однако вы можете найти его для многих других серверов ProLiant:
Например, документация HP, номер по каталогу AM426-9011 B, описывает обновление процессора семейства E7 на сервере DL980 G7 (стр. 6, Прошивка FPGA с помощью интеллектуального компонента FPGA). Вы можете получить полное обновление прошивки iso CPLD на ftp-сервере hp (/pub/softlib2/software1/pubsw-linux/p2139015018/v70029/dl980g7-offline-cpld-fpga-fmp-flash-1.0-8.zip)
И для тех, кому может быть интересно, я также нашел обновление CPLD для DL585 G7 (/pub/softlib2/software1/sc-linux-fw/p2039955643/v85801/cp019851.scexe)

Как было сказано ранее, серии E7-4800 поддерживаются только в DL580 G7 CTO (643086-B2x) и предварительно настроенных моделях (6430xx-xx1 / 6967xx-xx1). Но если у вас вышла из строя плата, особенно для вторичного рынка, вы должны заменить ее на правильный номер детали и позаботиться о том, чтобы получить подходящую совместимую версию чипа CPLD!

Кроме того, для людей, которые все еще хотят обновить стандартный DL580 G7 процессорами E7 Westmere без обновления CPLD, имейте в виду, что:
- Только в сокетах PROC1 и PROC2 (для получения симметричной конфигурации), поэтому максимальный объем памяти делится на два,
- Конфигурация 2xE7-4870 быстрее, чем конфигурация 4xE7530, и менее энергоемкая (2xE7-4870, 20 ядер = 208 Вт, 4xE7530, 24 ядра = 337 Вт, в режиме ожидания WS2012 R2),
- Плата расширения не может быть добавлена, так как вы должны заполнить PROC3.

Проблема решена.

РЕДАКТИРОВАТЬ: В ответ на @Clint подробные версии плат MainIO:

584087-421

643086-B21

Это ситуация с «обращением в службу поддержки HP».

Вот и все.

Независимо от статуса вашей гарантии, вы пытаетесь заставить работать что-то, что требует специальных знаний. Я предполагаю, что вы обновили всю прошивку, но также кажется, что вы узнали, но проигнорировали серьезную проблему совместимости.

Спасибо всем за превосходную информацию. Вы действительно спасли меня от этого. Для тех из вас, кто заглянет позже, вот итог:

У вас есть основная плата ввода-вывода 591196-001 rev 0A. Это плата со слотами PCI. На этикетке рядом с разъемами на плате ЦП написано «rev 0A». Вам нужен rev 0B.

Сервер не будет отправлять и загружаться, если у вас есть процессор E7 в слоте 3 и установлена ​​основная плата rev 0A. Как только вы удалите процессор 3 или установите плату rev 0B, все заработает.