Я ищу забавные истории о несчастных случаях с системными администраторами, которые у вас были. Удаление электронной почты генерального директора, форматирование неправильного жесткого диска и т. Д.
В качестве ответа добавлю свою историю.
Мне было интересно узнать разницу между командой linux «killall» (убивает все процессы, соответствующие указанному имени, полезно для остановки зомби) и командой solaris «killall» (убивает все процессы и останавливает систему, полезно для остановки рабочего сервера в середина часов пик и заставить всех ваших коллег смеяться над вами в течение недели).
Я отвечал за наш корпоративный веб-прокси, который в то время был продуктом Netscape. Во время игры в формах администратора (это был веб-интерфейс) была большая (и я клянусь, она была красной) кнопка с надписью Удалить базу данных пользователей. «Нет проблем, - подумал я. Посмотрим, какие варианты он мне даст, когда я нажму на него. Если вариантов нет, обязательно будет запрос на подтверждение.
Да нет подтверждения. Без вариантов. Больше нет пользователей.
Итак, подошел к г-ну Солярису сисадмину и сказал, что я отчаянно нуждался в восстановлении с ленты, на что он ответил: «Я не делаю резервную копию этого ящика».
«Ну, давай еще», - парировал я.
«Я не поддерживаю эту коробку. Это в моем списке вещей, которые нужно добавить к ротации резервных копий, но я еще не дошел до нее».
«Этот сервер находится в производстве почти 8 месяцев!» Я кричал.
пожимать плечами, он ответил. "Сожалею."
Много лет назад у компании, в которой я работал, был клиент, который каждую ночь выполнял резервное копирование своего сервера NT 4.0 на компьютер. Джаз драйв (как zip-диск большой емкости).
Мы создали пакетный файл, который запускался как запланированное задание на ночь. Каждое утро они забирали из дисковода диск last night и, перед тем как уйти вечером, вставляли следующий диск в последовательности.
Во всяком случае, командный файл выглядел примерно так (диск Jaz был диском F :) ...
@echo off
F:
deltree /y *.*
xcopy <important files> F:
Как бы то ни было, однажды ночью они забыли вставить диск. Смена диска F: не удалась (диск отсутствует), и командный файл продолжал работать. Рабочий каталог по умолчанию для командного файла? C :. Я впервые увидел процедуру резервного копирования уничтожить сервер, резервное копирование которого выполнялось.
В тот день я кое-что узнал о системном администрировании (и обработке исключений).
Джим.
PS: Исправление? "deltree / y F: \ *. *".
root @ dbhost # find / -name core -exec rm -f {} \;
Я: «Ты не можешь войти? Хорошо. Какое имя у БД?»
Cu: «Ядро».
Я: "Ой".
Мне нравится, как все квалифицируют свою историю как «когда я был молодым / зеленым», как будто они никогда больше этого не сделают. Несчастные случаи могут случиться даже с самыми опытными профессионалами.
Мой худший момент настолько плох, что я все еще чувствую сильное сердцебиение при мысли об этом ...
У нас была SAN с производственными данными. Критично для компании. Мой «наставник» решил расширить раздел, чтобы освободить место на диске. Вы видите, к чему это ведет? Он сказал, что программное обеспечение SAN может делать это в реальном времени, в рабочие часы, и никто этого не заметит. Тревожные колокола должны были зазвонить, но они были явно тихими. Он сказал, что делал это «много раз раньше» без проблем. Но вот в чем дело - он заставил МЕНЯ нажать кнопку с надписью «Вы уверены?»! Поскольку я был новичком в компании, я решил, что этот парень знает, о чем говорит. Большая ошибка. Хорошей новостью было то, что LUN был расширен. Плохая новость была ... ну, я знал, что есть плохие новости, когда я начал видеть ошибки записи на диск в окне Windows.
Я рада, что на мне были коричневые штаны.
Нам пришлось объяснять, почему 1 ТБ данных исчез в обеденное время. Это был действительно очень плохой день.
На самом деле это хороший принцип: прежде чем делать что-то, в чем вы сомневаетесь, представьте, что вам нужно объяснить руководству, если что-то пойдет не так. Если вы не можете придумать хороший ответ, чтобы объяснить свои действия, не делайте этого.
Однажды утром Nagios написал нам, когда в рабочее время стало известно, что он не может подключиться к некритичному серверу. Хорошо, идем в серверную. Это старый сервер, Dell 1650, купленный в 2002 году, и мы знали, что у 1650-х были проблемы с оборудованием. PFY ударяет по кнопке питания. Ничего. Ударьте по нему еще раз и удерживайте в течение пяти секунд, чтобы «принудительно включить» ... что отменяет защиту от ошибок BMC, поскольку без DRAC нет возможности просматривать журналы BMC без включения питания шасси.
Машина запускает POST, а затем снова умирает. Я стою над ним и говорю: «Я чувствую запах дыма». Мы вытаскиваем сервер на рельсы, и один из блоков питания кажется теплым, поэтому PFY вытаскивает его и собирается снова закрыть коробку. Я говорю: «Нет, это не дым от блока питания, это дым материнской платы».
Снова открываем кейс и ищем источник запаха гари. Оказывается, катушка индуктивности и конденсатор что-то сорвало с регулятора напряжения на материнской плате, расплавили медь и конденсаторную массу на все, закоротили кучу вещей и, по сути, устроили большой беспорядок.
Хуже всего для меня было осознание того, что я выкурил достаточно оборудования, чтобы распознать разницу между запахом сгоревшей материнской платы и сгоревшего блока питания.
Три дня назад (серьезно) я удаленно вошел на школьный сервер, установив Service Pack 2 на файловый сервер Windows Server 2008.
Я решил запланировать необходимую перезагрузку на позднюю ночь, когда учителя не войдут в систему, закончив свои табели успеваемости на конец года. Я набрал что-то вроде:
at 23:59 "shutdown -r -t 0"
... что могло бы сработать нормально.
Но потом я второй раз угадала. Был ли мой синтаксис «выключения» верным? Я попытался просмотреть справку по использованию, набрав
shutdown /h
... и мгновенно потерял соединение RDP. В панике я обратился к Google за синтаксисом. Быстрый поиск показал, что версия завершения работы Server 2008 включает переключатель / h, который (как вы, возможно, догадались) переводит компьютер в спящий режим.
Учителя начали звонить мне через несколько минут, чтобы сообщить, что они больше не могут открывать или сохранять табели успеваемости, над которыми они работали. Поскольку я находился за пределами офиса, а серверная была заперта, мне пришлось позвонить директору школы напрямую и рассказать ей, как снова включить машину.
Сегодня я принесла всем домашнее печенье в качестве извинения.
В предыдущей работе у нас была отличная отечественная система, которая регистрировала и архивировала каждое отдельное письмо, которое входило, уходило или оставалось внутри компании.
Снес весь почтовый ящик? Нет проблем! Ищете письмо, которое кто-то отправил вам неделю / месяц / год назад, но вы не можете вспомнить, кто его отправил или по какой теме? Нет проблем! Мы просто повторно отправим вам все с февраля в специальную папку.
В какой-то момент у генерального директора компании возникла необходимость отслеживать почту, идущую между конкурентом и внутренним продавцом, находящимся под подозрением. Итак, мы настроили сценарий, который запускался каждую ночь и доставлял соответствующую почту за предыдущий день генеральному директору. Нет проблем!
Примерно через месяц весть о вдвойне неотложной проблеме пришла сверху. Похоже, когда генеральный директор просматривал список писем, отправленных в $ OTHERCOMPANY, он наткнулся на это:
To: somebody@$OTHERCOMPANY
From: CEO
Subject: CEO has read your message (subject line here)
Естественно, поскольку генеральный директор был важным человеком, он был слишком занят, чтобы нажимать на все эти диалоговые окна «Отправить уведомление о прочтении» в Outlook, и настроил своего клиента, чтобы просто отправлять их все. Одно из сообщений, перехваченных фильтром мониторинга, содержало установленный запрос о прочтении. Угадайте, что сделал Outlook? Наверняка заглушили "подпольный" мониторинг.
Наша следующая задача: добавить правила к фильтру почты, чтобы блокировать исходящие уведомления о прочтении от генерального директора этой компании. Да, это был самый простой способ. :)
Аааа, моя была лет 10 назад, когда я еще не промочил ноги. Я имел удовольствие устанавливать резервные батареи на все компьютеры программистов. Они также хотели, чтобы программное обеспечение было загружено, чтобы предупреждать об отключении электроэнергии и должным образом завершать работу.
Поэтому я установил его на свой компьютер, чтобы сначала все проверить и убедиться, что все работает. Я отсоединяю шнур питания, и на экране появляется сообщение. «потеря внешнего питания, начало выключения системы».
Я подумал: «Эй, круто, это сработало». Но по какой-то странной причине, я даже не помню, он отправил это сообщение в виде сетевого сообщения, поэтому все 200+ компьютеров в компании получили это сообщение, причем 100+ пользователей были программистами.
Ага, поговорим о массовом помешательстве !!
Некоторое время я держал голову низко в этом месте!
Я часто использовал команду «sys-reconfig» на машинах Solaris для сброса службы имен машин, I.P. адрес и пароль root. Я был в пользовательской системе, и я вошел на сервер установки здания и кое-что посмотрел (как root), а затем, забыв, что я вошел в систему на другом компьютере (не описательное приглашение «#»), я запустил команду «sys-reconfig».
# sys-unconfig
WARNING
This program will unconfigure your system. It will cause it
to revert to a "blank" system - it will not have a name or know
about other systems or networks.
This program will also halt the system.
Do you want to continue (y/n) ? y
Connection closed
#
Это сообщение «соединение закрыто» постепенно превратилось в панику ... на какой машине я вошел, когда запустил эту команду.
Хуже всего было не то тяжелое время, которое мне устроили мои коллеги, а то, что я сделал то же самое месяц спустя.
У меня неплохой. По общему признанию, это было до того, как я работал системным администратором, но все еще был связан с технологиями, поэтому я решил добавить его.
В свое время я работал оператором спутниковой связи / широкополосной связи в ВВС США. Недавно окончив техникум, я оказался в Южной Корее. Вскоре после прибытия на станцию появилась возможность отправиться на юг с «большими парнями», которые были там некоторое время и фактически работали над некоторым реальным (то есть «производственным») оборудованием.
Я спустился с командой, и, как энергичный молодой техник, глотал кусок, очень взволнованный перспективой получить в свои руки реальное оборудование, которое передавало ЖИВОЙ военный голосовой и информационный трафик.
Чтобы начать медленно, они вручили мне руководство, обратились к секции профилактического обслуживания и указали мне направление к четырем стойкам, заполненным несколькими большими цифровыми мультиплексорами. Оборудование было достаточно простым, мы покрывали такое же оборудование в технической школе.
Прочитана первая страница руководства; «Подайте питание на цифровой мультиплексор. Установите оба задних переключателя в положение ВКЛ. И дождитесь включения оборудования, затем начните испытания». Я посмотрел вверх и увидел, что питание уже ПОДЛОЖЕНО!
Я точно был в затруднительном положении. Не зная, что делать дальше, я выстрелил изо всех сил: «Эммм .. Какая-то потерялась здесь», посмотри на старшего.
Он посмотрел на меня и засмеялся: «Нет, нет, все в порядке. Вы можете игнорировать эту часть контрольного списка». Затем, заметив выражение моего лица (так как в школе нас учили НИКОГДА, НИКОГДА не игнорировать какую-либо часть контрольного списка, и это было бы верной смертью и разрушением, если бы кто-то так поступил), он серьезно посмотрел на свой лицо и сказал: «Игнорируйте ТОЛЬКО эту часть! Следуйте остальному, в точности!»
Я покорно пробежал по многоступенчатым инструкциям PM, довольный как моллюск и гордый тем, что они позволили такому невысокому (хотя и умному) специалисту выполнять эту важную работу.
Где-то между пятым и шестым контрольными списками профилактического обслуживания этих огромных мультиплексоров я начал замечать повышенный уровень активности вокруг себя. Звонили телефоны, люди быстро двигались. Обменивались насмешливыми взглядами.
Наконец, ко мне подбежала группа людей во главе с одним из старших техников, которые меня сбили.
«Эй! Мы наблюдаем ОГРОМНЫЕ сбои в передаче данных, и мы изолировали / проследили путь обратно к стойкам, над которыми вы работаете! Вы видите какие-нибудь странные…»
(В этот момент его прервал другой специалист по устранению неполадок, который пробрался к первой группе мультиплексоров, на которых я выполнял PM).
«СВЯТЫЕ ОРЕХИ! ОНИ ВЫКЛЮЧЕНЫ! ОН ИХ ВЫКЛЮЧАЛ !!!!»
Вскоре я наблюдал, как они поспешно выполняли первый шаг в руководстве: «Переведите оба задних переключателя в положение ВКЛ ...». Когда старший техник закончил, он подошел ко мне и недоверчиво спросил, о чем я думаю. выключением критически важного оборудования.
Напуганный до смерти, я протянул ему контрольный список, которому следовал, клянясь, что я ни в коем случае не отклонялся. Что я следил за ним, «до буквы», как он велел.
Через некоторое время он засмеялся и указал, в чем проблема.
В руководстве ЗАКЛЮЧИТЕЛЬНЫЙ шаг контрольного списка профилактического обслуживания был:
«Запишите окончательные показания датчика, протрите переднюю панель, удалив всю пыль и твердые частицы, затем поверните оба задних переключателя питания в положение ВЫКЛ».
:)
Я для кого-то перезагружал систему и во время резервного копирования вручную задал ему вопрос: «У вас есть другие программы, которые вы используете?». и "Есть ли еще что-нибудь важное, что вы делаете на компьютере?"
Он сказал "нет" НЕСКОЛЬКО раз.
Убедился и отформатировал диск.
Примерно через 30 минут он сказал: «Боже мой» и положил обе руки себе на голову.
Оказывается, он работал над сценарием книги более 10 ЛЕТ в специализированной программе. Это было еще тогда, когда программы, используемые для сохранения пользовательских данных в каталоге программных файлов, я пропустил.
Whhhhooooops.
Он не злился на меня, но это было отрезвляющее чувство.
Это своего рода несчастный случай с системным администратором ... поскольку системным администраторам иногда приходится физически перемещать большое количество машин из точки A в точку B (где A и B, по-видимому, всегда разделены несколькими лестничными пролетами в здании без лифта). Во время n-го рейса дня я остановился на передышку в трех пролетах от уровня погрузки подвала, чтобы поболтать с кем-то спускающимся, подпирал полноразмерную башню со станцией, которую я шлепал, на внутреннем поручне открытой лестницы и ... ну, как вы уже догадались ... я немного потерял хватку. Он безошибочно рухнул прямо в колодец, а когда достиг дна, э-э ... не так много функций, как для этого! Общее количество подлежащих восстановлению частей: две палки ОЗУ, один дисковод для гибких дисков и одна карта ISDN (да благословит Бог инженеров Hermstedt!). Все остальное либо трескалось, либо гремело, либо разлеталось на мелкие кусочки.
По милости Божьей, под ним никто не ходил, что, к счастью для меня, было первым делом для моего босса, так что мне пришлось сохранить свою работу. Хотя около часа чувствовал себя очень больным.
Мораль: гравитация всегда побеждает!
Со мной этого не случилось, но ...
Я работал в компании, которая производила программное обеспечение, работающее на машинах Linux, предоставленных клиентом. Мы, по сути, «берем на себя управление» машины, полностью настраиваем их в соответствии с нашими спецификациями и выполняем все управление и мониторинг. По сути, мы были командой из 10-15 системных администраторов, управляющих тысячами серверов для сотен клиентов. Ошибки неизбежны.
Один из наших сотрудников обнаружил некоторые проблемы на сервере (кажется, резервная копия) и решил, что ему следует запустить на нем fsck. Он остановил все соответствующие службы, убедился, что в системе недавно были сделаны резервные копии, а затем запустил fsck, но он пожаловался, что файловая система смонтирована. Поскольку мы были удаленными и не имели удаленного доступа (DRAC, ILO и т. Д.), Он не мог выполнить fsck, но он был почти уверен, что это безопасно сделать с смонтированной файловой системой, если вы будете осторожны.
Он решил попробовать это сам, запустив fsck на своем корневом разделе, с предсказуемыми результатами - он повредил свой корневой раздел и больше не мог загружаться.
Сбитый с толку, он подошел и поговорил с руководителем нашей группы. Ведущий сказал, что он почти уверен, что вы не сможете этого сделать, а член команды сказал: «Конечно, можете!», Взял клавиатуру ведущего и показал ему, что вы можете - запустив fsck в корневом разделе ведущего. Которая полностью испортила ЕГО корневой раздел.
Конечный результат? Данные о клиентах не теряются благодаря тестированию, проведенному членами команды. Два дня продуктивности сотрудников были потеряны, но это было намного, намного меньше, чем данные на машине клиента. А для протокола? Вы можете запустить fsck на смонтированном диске, но только для проверки данных. Не чинить. Это была ошибка члена команды.
-
Чтобы добавить свою собственную историю, я работал в той же компании и пытался сбросить пароль пользователя. Наша система не разрешила мне установить пароль, который ему был нужен, потому что она отслеживала старые хэши паролей и не позволяла вам дублировать пароль. Механизм был прост: он проверял ваш пароль по самому последнему хешу в базе данных.
(И для записи, это должен был быть старый пароль, потому что это была общая учетная запись, и было непрактично следить за тем, чтобы все знали новый пароль)
Я решил просто зайти в базу данных пользователей и удалить новые записи, чтобы использовать старую. Это просто SQL (запущенная старая версия Sybase), так что это просто. Сначала мне нужно было найти записи:
SELECT * FROM users_passwords WHERE username='someuser';
Я нашел старую запись, которую он хотел сохранить; впереди были еще двое. Я решил проявить смекалку и просто удалить что-нибудь новее, чем старая запись. Посмотрев на набор результатов, я увидел, что старый пароль был ID # 28 в базе данных, а новые были ID # несколько тысяч (очень загруженная система). Это просто, все старые строки были> 28, поэтому:
DELETE FROM users_passwords WHERE id > 28;
Нет ничего хуже, чем выполнить простую обрезку строк и увидеть «212 500 строк затронуты». К счастью, у нас было два главных сервера баз данных (с идентификатором пользователя), но Sybase (по крайней мере, наша версия) не поддерживала автоматическую репликацию, поэтому не стирала автоматически старые записи. Получить дамп таблицы users_passwords и повторно импортировать ее было нетрудно. Тем не менее, довольно большое «ебать!» момент.
Мой личный фаворит на самом деле не мой, и я ОЧЕНЬ этому рад. Взгляните сюда.
Набранный kill 1 как корень. init и все ее дети умерли. И все их дети. и т. д. и т. д. Ой.
Я хотел напечатать kill %1
Поняв, что я сделал, я побежал к панели управления БОЛЬШОЙ машины для сортировки тюков шерсти и нажмите кнопку аварийной остановки. Это остановило разрыв машины на части, так как я только что убил программу, которая ее контролировала.
Оператор DELETE без предложения WHERE в действующей базе данных клиентов.
Еще один из моих любимых:
При настройке компьютера и локального лазерного принтера в системе мне пришла в голову блестящая идея подключить их оба к ИБП компьютера. Вы когда-нибудь пробовали печатать на локальном лазерном принтере, когда он подключен к настольному ИБП? Ну, если вы не знаете, он имеет тенденцию тянуть все усилители ... Что перезагружает компьютер ... И задание печати никогда не заканчивается ...!
Когда-либо получал звонок: 'Каждый раз, когда я печатаю, мой компьютер перезагружается и не печатается !!!'?
Ой!
JFV
Мы были в разгаре отключения электроэнергии и увидели, что ИБП работает на 112% от настроенной нагрузки. Это не было большой проблемой, поскольку в то время мы работали на генераторе.
Поэтому мы потянули за собой резервные силовые кабели, чтобы уменьшить потребление энергии на этом ИБП (у нас было два, один намного больше другого). Мы подошли к сетевому коммутатору, который управлял серверной комнатой (это была серверная комната со всеми внутренними серверами компании, с серверами в другой серверной комнате). Коммутатор представлял собой крупный коммутатор корпоративного класса с тремя блоками питания. Расходных материалов было N + 1, поэтому нам потребовалось всего два, чтобы запустить коммутатор.
Мы взяли кабель и вытащили его. К несчастью для нас, два других блока питания были подключены к одному удлинителю, который сразу же взорвался, когда увеличилась нагрузка на два блока питания, которые были подключены к нему. Затем системный администратор запаниковал и подключил третий кабель. Коммутатор попытался сработать, переведя всю нагрузку коммутатора на единственный источник питания. Вместо того, чтобы отключиться от источника питания, он взорвался ливнем искр всего в 12 дюймах от моего лица, заставив меня прыгнуть обратно в стойку с серверами.
Инстинктивно я попытался отпрыгнуть в сторону, но, к сожалению, слева от меня была стена, а два справа от меня были очень большим 6'4-дюймовым парнем. Мне каким-то образом удалось перепрыгнуть через него или, возможно, через него отскочить стоек Compaq (те, которые имеют фасады из тонкой сетки), не кладя целое в стойку и не касаясь обслуживающего персонала.
После долгого дня или отслеживания производительности и настройки огромного мэйнфрейма (вы знаете чудовищ, которые занимают пару часов, прежде чем все резервные резервные сайты согласятся, что он действительно снова загружен и полностью синхронизирован), я протянул пальцы и набрал довольное завершение работы -p теперь в командной строке моего ноутбука, закрыл крышку, выдернул последовательный кабель из мэйнфрейма, в ожидании хорошего холодного стакана лагера.
Внезапно я слышу оглушительный звук вращающегося мэйнфрейма, в то время как мой ноутбук все еще счастливо отображал X.
В ожидании, пока машина снова полностью подключится к сети, я решил, что у меня есть время, чтобы заставить свой ACPI работать на моем ноутбуке, поэтому у меня никогда не возникает соблазна выключить свой ноутбук.
В какой-то момент моей карьеры юридическое расследование в компании, в которой я работал, потребовало от нас, чтобы вся электронная почта хранилась с «этого дня», пока не будет сказано иное. Примерно через год хранения ежедневных полных резервных копий нашей среды обмена (1 ТБ каждую ночь) нам стало не хватать места.
Админы биржи предложили нам хранить только каждую 8-ю копию письма. Для этого мы попросили их восстановить базы данных обмена за несколько дней, извлечь нужную им электронную почту (определенные люди отмечены для расследования) и повторно заархивировать ее. Они делали это для каждого 8-го дня электронной почты для всех наших резервных копий. 8-й день был выбран потому, что на бирже был установлен параметр, при котором «удаленные элементы» хранятся в базе данных в течение 8 дней.
После того, как они заканчивали каждый архив, я возвращался и удалял все резервные копии, которые были старше, чем они заархивировали.
У TSM нет простого способа сделать это, поэтому вам придется вручную удалять объекты из резервной базы данных.
Я написал сценарий, который удалял все резервные копии старше некоторой даты путем вычисления даты, используя разницу между сегодняшним днем и рассматриваемой датой. В какой-то день мне пришлось удалить резервные копии на сумму около месяца, за исключением того, что я сделал расчет даты, я сделал опечатку и ввел дату как 7/10/2007 вместо 6/10/2007, и запустил сценарий. Я случайно удалил данные за весь дополнительный месяц, что было частью очень важного судебного процесса.
После этого я добавил в скрипт несколько шагов, чтобы подтвердить, что вы хотите удалить данные, и показать вам, что он собирался удалить ...
К счастью, они даже не использовали данные, которые мы так старались сохранить, а у меня все еще есть работа.
Случайно установил файл tar.gz на свой Gentoo Linux не в том месте, и файлы остались повсюду. Должно быть, это было около 1999 года, 19 лет в то время (спасибо за комментарии ниже)
Будучи компьютерным фанатом, я решил попробовать избавиться от работы по ручному просмотру каждого файла.
Итак, я попробовал:
tar --list evilevilpackage.tar.gz | xargs rm -rf
Мне не потребовалось много времени, чтобы заметить, что tar также перечисляет все каталоги, которые использовала программа, включая «/ usr, / var, / etc» и несколько других, которые я действительно не хотел удалять.
CTRL-C! CTRL-C! CTRL-C! Поздно! Все пропало, переустановите время. К счастью, в коробке не было ничего важного.
Я удалил чью-то учетную запись по ошибке, перепутал имена с той, которую собирался удалить. Оппс
Самое интересное, что они никогда не знали, что произошло. Получил звонок, что они не могут войти в систему, упала пенни за удаленный мной аккаунт.
Пока я разговаривал с ними по телефону, я быстро воссоздал их учетную запись, заново прикрепил к ней их старый почтовый ящик (к счастью, Exchange не удаляет почтовые ящики сразу) и указал его на их старые файлы пользователей.
Затем я обвинил их в том, что они забыли свой пароль, который я только что сбросил для них :)
ДТП не произошло ... но стоит упомянуть:
Меня отправили в активно используемый центр обработки данных, чтобы провести тесты пропускной способности новой цепи. Я добрался до демаркационной комнаты / IDF, нашел место на одной из стоек для моего тестового маршрутизатора, подключился и начал тесты. К сожалению, я совершенно не заметил, что производственный пограничный маршрутизатор не только находится точно на следующей стойке (почти на том же уровне), но и того, что он был той же марки и модели, что и мой тестовый маршрутизатор.
Когда тест был завершен, я начал нажимать выключатель питания в положение выключения (... представьте, что это в замедленной съемке ...) и, клянусь, когда я оказывал давление, меня осенило, что маршрутизатор, о котором я собирался для выключения был в производстве. Мое сердце остановилось, и я почти ... ну, используйте ваше воображение.
Я покинул МДФ центра обработки данных, выглядя испуганным и бледным, но в то же время рад, что у меня все еще есть работа!
Небольшую часть моей прежней жизни я администрировал файловым сервером компании, сетевым ПО 4:11. Вряд ли он КОГДА-либо вообще нуждался в вводе, но если да, вы открывали окно удаленной консоли.
Раньше я все время использовал DOS, когда я заканчивал, я, естественно, набирал "Exit". Для Netware "exit" - это команда для выключения ОС. К счастью, он не позволит вам выключиться, если вы сначала не отключите сервер (сделайте его недоступным для сети / клиентов). Поэтому, когда вы набираете «Выход» в консоли, он услужливо говорит: «Сначала вы должны ввести» Вниз "прежде, чем вы сможете выйти"
Спросите меня, сколько раз я 1: набирал «exit» в сеансе консоли и 2: послушно набирал «Down», а затем «Exit», чтобы я мог «закончить то, что я пытался сделать»
И тут телефон начинает звонить .....
ржунимагу
Последнее место, где я работал, мой коллега держал своих детей с ним в серверной (почему? У меня НЕТ ИДЕИ!).
Он убедился, что они находятся далеко от серверов, и объяснил своему 5-летнему ребенку, что он не должен прикасаться к ЛЮБОМУ из серверов и, ОСОБЕННО, ни к одному из выключателей питания.
Фактически, он держал их прямо у двери ... (вы видите, куда это идет ...?)
Мальчик не трогал ни одну из кнопок питания сервера ... Нет, это было бы слишком легко объяснить. Вместо этого он нажал БОЛЬШУЮ КРАСНУЮ КНОПКУ, которая была возле двери ... Кнопка, отключающая питание ВСЕЙ СЕРВЕРНОЙ КОМНАТЫ !!!
Телефонные линии сразу же загорелись, недоумевая, почему Exchange, файловые серверы и т. Д. Недоступны ... Представьте, что вы пытаетесь объяснить ЭТО генеральному директору!
-JFV
Еще одна история, которой не было (уф):
Мы ежедневно делали инкрементные резервные копии на ленточный накопитель.
Мы случайно записали ленту с данными, чтобы отправить их кому-то другому. Они сказали: «Мы не можем читать вашу ленту». Фактически, мы тоже не могли. Или вообще какую-то кассету.
Мы купили еще один стример и затаили дыхание, пока не установили его.
Мораль истории. Всегда проверяйте свои резервные копии.
Однажды я поссорился с ПО для мониторинга ИБП APC. Поскольку у нас была небольшая компания, у нас было несколько небольших ИБП, и для их мониторинга были настроены различные серверы. Большинство серверов были Linux, но некоторые работали под Windows, поэтому использовались именно они, потому что программное обеспечение APC - только Windows.
Однако программное обеспечение APC в то время было жестко запрограммировано так, чтобы предполагать, что ИБП, с которым он разговаривает, также питает ПК, на котором он работает! Это не относится к этому серверу, но я обнаружил, что слишком поздно, чтобы сказать ему остановиться. Также, к сожалению, ведущий программист демонстрировал продукт компании партнеру - это было веб-приложение, работающее на том же сервере, что я не хотел, чтобы программное обеспечение APC выключалось ...
Я проводил новому системному администратору экскурсию по приложению Service Manager. Я сказал: «Если вам когда-нибудь понадобится остановить эту службу, вы нажмете эту кнопку, но никогда не должны делать это в течение дня». Вы никогда не поверите, насколько чувствительной была ее кнопка мыши!
Через две минуты служба снова заработала, и, казалось, никто этого не заметил.
Я споткнулся о сервер в корпусе Tower, который был зажат за стойкой, и ударился головой о заднюю часть основного маршрутизатора Cisco, когда спускался вниз. Таким образом видно, насколько свободно шнуры питания были вставлены в блоки питания на передней панели Catalyst 6500.
Да. У нас сейчас каска на крючке в серверной. С моим именем на нем.