Наше здание находится ок. 100 метров от зарядов ВВ. Они случаются несколько раз в день и действительно сильно сотрясают все здание. Это будет продолжаться много дней, и предполагается, что взрывы станут сильнее.
В наших серверных комнатах нет ничего необычного; в одном из них все стойки на твердом бетоне, а в другом - фальшпол (тот, который позволяет кабелям проходить под ним).
Есть ли у кого-нибудь для нас какие-либо советы, контрмеры или лучшие практики?
В настоящее время мы думаем о следующих контрмерах:
Изменить: здесь много хороших ответов! Однако нужно принять. Ответ, получивший наибольшее количество голосов на момент редактирования, будет принят.
На вашем месте я бы позвонил в страховую компанию и попросил поставить акселерометр.
Таким образом, страховая компания будет знать, что диски встряхиваете не вы, а страховая компания будет точно знать, когда сработает каждый взрыв, на случай, если ваш SAN погибнет в тот же самый момент.
(Мы сделали это.)
Пришло время убедиться, что вы проверили свое решение для резервного копирования. Любое заменяемое оборудование в мире не спасет вас, если ваши резервные копии повреждены или по иным причинам стали бесполезными.
В дополнение ко всем другим отличным предложениям (особенно внешние резервные копии) вы должны учитывать защита от пыли ваша комната в максимально возможной степени: герметизирующие ленты вокруг дверей, ленты вокруг окон и т. д.
Если у вас есть наружные воздухозаборники, замените фильтры после окончания струйной очистки.
Все это говорит о том, что я бы не стал тратить время / ресурсы на еженощное сканирование диска или деньги на запасные жесткие диски (возможно, купите один или два для ваших наиболее важных машин, но помните, что вы можете перенести диски на ночь).
Серверное оборудование на удивление надежно и будет работать годами в довольно ужасных условиях. Скорее всего, с тобой все будет в порядке.
Установите серверные стойки на ISO-база платформы. Это изолирует вашу серверную стойку от ударов земли и позволит вашим системам работать даже в случае движения.
Это непросто, но эффективно. Особенно в зонах землетрясений.
Чтобы увидеть ISO-Base в действии, посмотрите это видео демонстрация эффектов в серверной стойке во время моделирования землетрясения. Одна стойка устанавливается на ISO-Base, вторая - нет.
Электропитание: если вы потеряли питание, все ли серверы, хранилище, сан (и т. Д.) В стойке перезагрузятся самостоятельно? Или они появятся только после того, как вы нажмете кнопку «Вкл»?
Это по двум причинам:
Вы также можете предложить своим пользователям выключать и отключать компьютеры каждый вечер.
Большинство людей говорят о резервном копировании - не многие говорят о восстановлении. Убедитесь, что восстановление из резервной копии максимально простое. В частности, если время критично.
Если у вас есть совместная репликация, переключите их на мастеров (если позволяет время), поскольку те, что находятся в вашем здании, гораздо более уязвимы. Они также чаще выходят из строя в рабочее время (очевидно).
Также советую работать дома.
Играйте в хэви-метал, чтобы заменить взрывной хард-рок. В любом случае, хард-рок уже в прошлом. ;)
А если серьезно, может быть, за углом есть магазин оборудования для ди-джеев, где вы можете купить какие-нибудь амортизаторы / изоляционные материалы. Многие ди-джеи (танцевальная музыка) испытывают такие же трудности, когда они проигрывают пластинки (то есть держат крошечную иголку в крошечной вращающейся канавке, что несколько сравнимо с чувствительным оборудованием, таким как дисковые накопители) на предельной громкости, в то время как толпа вокруг них прыгает и топает на полу синхронно (важно "синхронно"; если вы никогда не слышали о Tacoma Narrows Bridge инцидент, вам следует подумать о просмотре этот клип). Разорвите несколько мешков для мусора, чтобы обеспечить дополнительную защиту от пыли.
Я удивлен, что никто не упомянул о процессе.
Это прекрасная возможность повторить то, что вы запланировали для обеспечения непрерывности бизнеса. Что делать, если вам нужно переехать в офис на день или неделю? Есть ли у вас актуальные планы по чертежам и какие системы имеют приоритет для восстановления? Информируют ли руководство, что у вас есть план и вы знаете
Ускорение взрывов, вызвавших хаос в серверной, вероятно, меньше всего вас беспокоит. Ваши коммунальные предприятия могут быть подвержены гораздо более высокому риску, если вы не будете самодостаточны с помощью электроэнергии на месте и надежной связью (при условии, что вы не автономны и поддерживаете только местный персонал).
Сможете ли вы выжить в случае отказа водопровода, электричества или доступа в Интернет? Вы звонили своему интернет-провайдеру, чтобы узнать, знают ли они о взрывах и подготовились ли они к восстановлению обслуживания по альтернативному маршруту, если ваши коммунальные услуги будут прерваны. Вы будете знать свои особенности лучше, чем мы можем предположить, но у вас должен быть список всего, что вам нужно для работы, и вопрос: «Что, если это исчезнет неожиданно?» для каждого.
Простое рассмотрение этого вопроса в голове / на бумаге поможет вам узнать, есть ли у вас какие-либо слабые места, над которыми нужно работать позже, и, возможно, сообщить об этом по цепочке, если в вашей организации ничего не написано. Начните с двухстраничного резюме - просто к вашему сведению, чтобы все знали, что вы делаете.
Да, иметь под рукой несколько дополнительных жестких дисков / запасных частей - это хорошо, но меня больше беспокоят вещи, которые я не вижу или не контролирую напрямую.
Настоящая выгода от этого процесса - проверка вашей текущей системы мониторинга на практике. После того, как вы спланировали несколько базовых сценариев, вы будете лучше подготовлены к неожиданностям. Краткое изложение того, что вы ожидаете от выживания, а чего нет, очень пригодится, независимо от того, почему вы пострадали от сбоя, а также поможет в ваших усилиях по улучшению круглосуточного мониторинга, а не тогда, когда фундамент начнет трястись.
Раньше я запускал компьютеры на шахте, которую восстанавливали. По мере того, как рекультивация приближалась к офису, комната обработки данных в конце дня тряслась почти ежедневно.
Мои контрмеры включали перемещение стоек на несколько жестких резиновых ножек, предназначенных для гашения вибрации. Их сделал Мэнсон, я просто прикинул вес своей стойки и купил подходящие ножки. Это, казалось, исправляло любое движение внутри стойки. Самой сложной задачей было достаточно осторожно приподнять стойку, чтобы под нее скользнули ножки.
Кроме того, как уже упоминалось, у меня были резервные копии, которые я тестировал и хранил за пределами сайта.
Эти серверы прослужили 3 года с постоянным встряхиванием и сбоями, не связанными с оборудованием. Настольные компьютеры в офисе были не так хороши, поскольку у двух из них были катастрофические отказы жестких дисков.
Я еще не видел упоминания о резервных копиях, но убедитесь, что вы удалили их с сайта! Вы также можете сделать резервную копию настроек коммутатора, брандмауэра и т. Д.
Спросите инжиниринговую компанию, выполняющую взрывные работы. Скорее всего, у них есть собственное снаряжение на месте или они уже имели дело с повреждениями соседней серверной комнаты в прошлом.
Перечитайте BOFH хроники. Это даст вам несколько практических идей, как остановить взрывы. Все остальное будет просто контрмерой.
Что касается контрмер, все остальные упомянули резервные копии, поэтому я не буду повторять этот хороший совет.
Ежедневно проверяйте свои массивы raid 5, и теперь имейте в наличии запасные диски. Вся эта вибрация не может быть полезной для шпинделей, и удивительно, как часто массивы, которые можно сохранить, теряются из-за тревоги, которую никто не слышит, и из-за отказа второго шпинделя.
Возможно, я настроен оптимистично, но инженеры, выполняющие взрывные работы, обычно не ориентируются на уровни вибрации для уровней энергии «разрушить фундамент соседа», поэтому меня больше всего беспокоят движущиеся части компьютеров, также известные как диски.
Положите под стойки какую-нибудь защиту, особенно ту, которая сделана из твердого бетона. Это будет (или, вероятно, будет) сильно трясти. Если вы не можете купить (особенно из-за времени) сейсмостойкий пол, подложите под него пену, чтобы уменьшить тряску.