У меня есть две независимые системы оповещения для моих серверов. Сервер - это виртуальная машина на Linode, и одно из предупреждений приходит от Linode. Другая система мониторинга, которую мы используем, - New Relic. Они оба следят за использованием ввода-вывода.
Каждую ночь я получаю предупреждения от них обоих, поскольку сервер использует слишком много операций ввода-вывода. Я выполняю довольно много задач посреди ночи, но я подтвердил, что та, которая может вызывать предупреждения ввода-вывода, запускает резервное копирование. Резервное копирование выполняется с помощью s3cmd sync. Я попробовал ionice, но он все равно выдает предупреждения.
Получение предупреждений каждую ночь снижает эффективность предупреждений, когда они происходят на самом деле. Для Linode я мог бы повысить уровень, при котором выдается предупреждение, но это может означать, что все это станет бесполезным, поскольку уровень слишком высок.
Какое было бы правильное решение для этого?
Сначала задайте себе важный вопрос: "Это оповещение когда-нибудь скажет мне что-нибудь полезное?"
Такова ли рабочая нагрузка вашего сервера, что он связан с вводом-выводом, и предупреждение ввода-вывода предупредит вас о проблеме до того, как она действительно произойдет? Есть ли другие, более эффективные индикаторы, которые вы можете отслеживать (например, время ответа на HTTP-запросы к серверу?)
Если предупреждение не поможет, отключите его.
Как вы правильно заметили, «шумовые оповещения» снижают эффективность системы мониторинга, поэтому, если это оповещение является просто шумом, отключите его и покончите с этим.
Если оповещение действительно полезно в вашей среде, но бесполезно в определенные периоды времени, вам необходимо проверить свои системы мониторинга и посмотреть, можно ли отключить оповещение в определенные периоды времени (большинство из них - я не уверен в Linode или New Relic. , но их документация или сотрудники службы поддержки, безусловно, могут вам помочь).
Если ваша система мониторинга не может приостанавливать выдачу предупреждений в определенные периоды времени, вы можете сделать то же самое с procmail правила (или аналогичная фильтрация почты). Для этого необходимо доставить сообщение в отфильтрованный почтовый ящик, но вы можете переслать его оттуда на пейджеры, сотовые телефоны и т. Д. По мере необходимости.
(Если вы используете подобное решение для фильтрации почты, обязательно документ это так, чтобы следующий администратор знал, почему они не получают предупреждений в течение этого окна! Однажды может возникнуть реальная проблема, и отсутствие предупреждения может быть Плохой вещью.)