Назад | Перейти на главную страницу

Мониторинг важных файлов журналов на нескольких хостах Linux?

У меня есть несколько серверов, работающих на AWS, и Nagios / Icinga выполняет мониторинг всех критических сервисов.

Мы пытаемся найти лучший способ отслеживать все журналы - system, DB, PHP, Apache, etc - в системе, чтобы мы знали о проблемах (например, что Apache достиг max_clients порог вчера) сразу по электронной почте. Мы смотрим журналы только после того, как служба выйдет из строя, а не до того, что плохо.

Я новичок в администрировании Linux и после поиска в Интернете определил следующие варианты:

  1. Скрипты Nagios следить за журналами - Проблема в том, что большинство из них проверяют один файл журнала для одного конкретного регулярного выражения за раз. Невозможно масштабировать установку одной службы для каждого файла журнала (я даже не знаю все файлы журнала, которые мы должны отслеживать!)
  2. Такой сервис, как logrobot.com - Я не уверен, насколько это эффективно.

Оцените ваш совет о том, как лучше всего отслеживать все эти журналы на нескольких серверах с минимальной конфигурацией.

Не знаю, сколько серверов / журналов вам нужно отслеживать, но есть много решений.

малая среда

Используйте rsyslog и понравившийся вам интерфейс (например, LogAnalyzer http://loganalyzer.adiscon.com/)

большая среда

Мы отслеживаем наши серверные журналы (система +300) с beaver в качестве logshipper, logstash в качестве индексатора и elasticsearch в качестве бэкэнда. Это решение масштабируется до [вставьте здесь случайное число] хостов;)

По сути, вам не следует (по крайней мере, не только) читать журналы на одном и том же хосте, а вместо этого использовать какой-то сервер журналов, который централизованно собирает все журналы серверов.

Я использовал эту настройку, чтобы убедиться, что журналы не изменяются после их ввода.

Кроме того, просто используйте logcheck и позвольте ему проверять журналы за вас.

В основном это проверка строк, которые вы считаете приемлемыми и которые можно игнорировать, и отправляет вам только те, которые вы не указали logcheck заранее.

вы можете легко установить его на любой сервер.

для графической версии подсчет количества серьезных записей в журнале и т. д.

logzilla - хороший вариант, думал, что уже не бесплатный.

Что касается logrobot.com, то теперь есть бесплатная версия, которая делает именно то, что вам нужно, и ее можно скачать здесь:

http://www.logxray.com/logxray.zip

Чтобы использовать его для решения ваших проблем, вы можете запустить logxray следующим образом:

./logxray localhost: электронная почта / apps / logxray autonda / var / log / messages 60m 'kernel | error | panic | fail' 'timed out' 1 2 -show error_check jdoe@example.com

Чтобы отслеживать несколько журналов или определенные журналы в определенном каталоге:

./logxray локальный хост / приложения / logxray autoblz / var / журнал 60m «panic | error» ‘.’ 1 1 directory_error_watch -ndfoundn

http://www.logXray.com (для получения дополнительной информации или документации по использованию инструмента)

Я потратил пару дней на поиски («решения для управления журналами») и обнаружил именно те инструменты, которые искал. Следующие 3 инструмента представляют собой облачные инструменты ведения журнала, которые легко установить и настроить. Они отправляют системные журналы и пользовательские журналы на свои серверы, хранят их, позволяют искать и настраивать оповещения по электронной почте / веб-перехватчику для шаблонов регулярных выражений.

  1. Papertrail - самый простой / быстрый интерфейс (например, tail -f на терминале). Чрезвычайно доступные цены. Однако вам придется потратить некоторое время на настройку его для пользовательского ведения журнала (apache, mysql, ваше приложение). Их отправитель журналов, основанный на Go (на сегодняшний день в бета-версии), очень эффективен с точки зрения памяти, и я могу развертывать файлы журналов, которые он должен отслеживать, через репозиторий GIT.
  2. Записи журнала - тоже довольно просто. Проще всего настроить пользовательское ведение журнала через их демон le. У него довольно много функций, и это делало его раздутым по сравнению с papertrail. Их бесплатный план довольно обширен для стартапов.
  3. Loggly - Предложите все, что делают двое других, но пройти через это было довольно сложно. И их бесплатный план не предлагает оповещений.