У меня есть эта проблема или, скорее, зуд, и мне действительно нужна помощь. Я использую автомасштабирование и несколько экземпляров на Amazon. Проблема в том, что у меня есть все эти журналы PHP, Apache, system, а также мое веб-приложение, генерирующее журналы трафика и т. Д. Я хочу объединить все эти журналы. Я знаю, что существуют syslogd и т. Д., Но мне было интересно, какие наиболее эффективные решения с низким уровнем администрирования используют в настоящее время DevOps, поскольку мой опыт работы с Amazon AWS не такой обширный. Кроме того, мне нужно, чтобы решение использовало мало ресурсов, если это возможно. Использование базы данных для сохранения всех этих данных каждую секунду - не лучшее решение для меня.
Обратите внимание, что я НЕ говорю о системном мониторинге, который обслуживается CloudWatch и т. Д., Больше для запущенных приложений и серверов, а также о написании пользовательских журналов приложений. Также предполагается, что все системы относятся к Redhat Linux.
Любая помощь или направление приветствуются.
Самым простым и легким решением, вероятно, является ведение системного журнала на центральном сервере журналов, например с syslogd. Это просто, бесплатно и широко используется в производственных средах.
Затем вы можете использовать Graylog2 как бесплатный анализатор логов. Это немного похоже на Splunk, но намного доступнее.
Также для вашего инструментария интересно logstash, инструмент для управления событиями и журналами. Вы можете использовать его для сбора журналов, их анализа и сохранения для последующего использования (например, для поиска). Вы можете использовать встроенный веб-интерфейс или искать журналы через Graylog2, если вы предпочитаете его интерфейс. Logstash помогает вам получать журналы и другие данные о событиях из ваших систем, нормализовать их и перемещать в центральное место.