У меня есть несколько систем и сервисов, которые отправляют оповещения по электронной почте, когда происходит какое-то событие. Это отлично работает для небольшого количества систем, но по мере роста количества предупреждений важное сообщение становится менее заметным среди информационных уведомлений. Фильтрация электронной почты может быть эффективной только до определенного момента.
Какое решение я могу использовать вместо электронных писем, которое позволит мне отправлять произвольные оповещения от различных служб и которое будет легко масштабироваться по мере роста количества служб?
Тип решения, который вы описываете, называется SIEM (Security Incident and Event Manangement). Splunk.com - популярный SIEM.
Я полагаю, вы рассмотрели Nagios или Icinga?
Как насчет использования Amazon SNS? Все, что нужно сделать вашим скриптам, - это использовать SNS API (у Amazon есть примеры на нескольких языках, и уведомления можно отправлять разными способами (электронная почта, SMS, HTTP и т. Д.). Это также упрощает для людей отмена / подписку на различные уведомления.
Используйте pingdom для получения писем / smss. вы можете указать, например, что он будет проверять ваши услуги каждую минуту и в соответствии с результатом написанных вами сценариев «тестовой системы» будет указывать вам по электронной почте или sms в зависимости от степени серьезности.