Строители залили мой SAN бетон и минеральную пыль
Обновить: EMC отказалась от гарантии и поддержки, так что это будет страховой случай. Dell заявляет, что мы можем нанять профессиональное клининговое агентство, чтобы отремонтировать серверы и сохранить нашу гарантию. Cisco говорит «возможно». HP пока молчит :(
Окончательное обновление: EMC отвернулась и одобрила очистку от сертифицированной компании. VNX был отправлен нам сегодня и работает нормально. Остальная часть серверной также убирается, и наши потери ограничиваются парой ленточных накопителей. Страховая компания оплачивает практически все остальное.
Исходный вопрос:
Вот такая история ..
Владельцы здания, у которого мы сдаем в аренду офисные помещения, решили сделать ремонт снаружи. Это связано с довольно тяжелой работой на уровне нашей серверной, включая замену окон, которые помещаются внутри бетонной стены.
Моя красная тревога сработала, когда я услышал, что они собираются сделать то же самое с нашей серверной (да, в нашей серверной есть окно. Мы небольшой магазин с 3 стойками. Окно защищено стальными решетками). Я ясно сказал подрядчику, что они должны возвести временную стену между нашими стойками и оригинальной стеной - и убедиться, что временная стена на 100% воздухо- и водонепроницаема. Они обещали это сделать.
Во временной стене есть небольшая дверь, так что рабочие могут входить / выходить в течение дня (через нашу серверную, что было единственным вариантом ...). Несколько раз я мог обнаружить, что маленькая дверь наполовину закрыта во время работы по вечерам / ночам. Я запер дверь и подумал, что, надеюсь, они скоро поймут суть дела и будут держать дверь закрытой. Я даже налегал на электрика, когда увидел, что он плохо закрывает дверь.
К этому моменту - я уверен, что большинство из вас уже имеет представление о том, что произошло. Да, вероятно, они оставили дверь открытой при сверлении бетона.
Представляю вам нашу 4-недельную EMC VNX: 
Я даже добавлю небольшой бонус, вот ИБП APC на одну стойку дальше от временной стены. Видите красивую взлетно-посадочную полосу с моего пальца? 
Что я должен делать? Единственное, что приходит в голову, - это либо позвонить всем нашим поставщикам (EMC, HP, Dell, Cisco) и попросить их прислать технических специалистов для проверки всего оборудования в серверной, либо получить какого-то сертифицированного стороннего консультанта. чтобы все это проверить. Вы бы запустили производственные системы на этом оборудовании? Сколько?
Я также должен отметить, что наш кондиционер не совсем корпоративного уровня, учитывая характер нашей маленькой комнаты. Это всего лишь единственный инвертор, который однажды вышел из строя, прежде чем я начал здесь работать (отказ инвертора обычно приводит к капанию воды).
Во-первых: когда серверная комната становится строительной площадкой, вы должны удалить все серверы по нескольким причинам.
- перебои в подаче электроэнергии
- перебои в охлаждении
- доступ (вы не знаете, кто проходит мимо ваших серверов, в какой час)
- механическое напряжение из-за строительной техники
- прямой ущерб от ударов рабочих
- остаточная пыль со строительной площадки, особенно металлическая или минеральная пыль
Единственная безопасная ставка - перенести ваши серверы в другую комнату. Это означает дополнительные отключения, но в ходе строительных работ вам, вероятно, все равно придется выполнять отключение.
(заметьте, следующее мое субъективное мнение) Вот это случилось. Вентиляторы засыпаны минеральной пылью. Это потенциально снижает их срок службы из-за воздействия на подшипники.
Я не ожидал, что серверы откажутся массово, но я бы ожидал, что у них будет более высокий процент отказов. У довольно крупного клиента количество отключений вентиляторов увеличилось после строительных работ.
Но опять же, я бы не стал слишком долго чистить системы. Если чистка приводит к повреждению, скорее всего, он больше, чем неисправный вентилятор. Если, конечно, пыль не содержит металлических частиц, которые меняют всю игру.
Что делать? Уберите комнату, уберите серверы снаружи, зарезервируйте немного денег для более ранней замены в будущем.
Ущерб, скорее всего, не подлежит судебной защите. Часть ущерба, которую вы можете доказать, вероятно, не стоит того, чтобы обращаться в суд. Вы можете попытаться получить некоторую компенсацию от домовладельца, возможно, уменьшенную оплату или около того.
- Пригласите всех техников.
- Заставьте их проверить / очистить все оборудование.
- Отправьте счет проектировщику здания.
Действительно, серверы могут выдерживать некоторый уровень пыли, но это уже слишком. Мы регулярно чистим наши серверы во время простоя с помощью Вакуум для ПК от 3M. Это приятно иметь в офисе.
А пока приступим к уборке. Чем быстрее вы удалите оттуда пыль, тем лучше. Не допускайте попадания пыли на радиаторы и вентиляторы. Если радиатор или вентилятор покрыт пылью, его способность рассеивать тепло намного хуже, чем у чистого блока.