Я ищу инструмент анализа журналов для мониторинга и анализа журналов с веб-фермы Apache & Tomcat.
Потребуются агенты, которые работают на серверах и отправляют журналы обратно на центральный хост. Затем хост будет обрабатывать их и рисовать полезные графики, такие как количество запросов в секунду, среднее время отклика и т. Д. Идея состоит в том, чтобы иметь одну "консольную" веб-страницу, которая бы представляла обзор всех графиков веб-приложений на одной странице с возможностью детализировать конкретное время на графиках и т. д.
Бюджет для этого довольно низкий (читай ноль), поэтому такие вещи, как Splunk, отсутствуют.
В настоящее время лучшим кандидатом является Logstash и eleasticsearch, но он кажется довольно сложным в настройке, и я не знаю, может ли он отображать консольное представление, демонстрации, похоже, больше основаны на поиске, а не на представлении обзора.
Cacti также является вариантом, но для этого потребуется какой-то способ доставки журналов на центральный хост и написание пользовательских сценариев для анализа журналов.
Есть ли другой инструмент, который мог бы предоставить что-то подобное, которое я пропустил? Это кажется довольно распространенным требованием, поэтому я удивлен, что до сих пор не нашел ничего, что могло бы сделать это напрямую!
Чтобы уточнить - такие вещи, как AWStats и Webalizer, на самом деле не подходят (и теперь тоже довольно устарели!). Меня больше интересует состояние моих серверов, чем то, откуда пришли мои посетители.
Я сам добился большого успеха с Logstash и Elasticsearch, и я бы поставил их уровень сложности от «низкого до среднего». Посмотрите 30-минутное видео на домашней странице Logstash или выложите 15 долларов на электронную книгу Logstash. Оба очень помогли настроить мою среду таким образом, что Logstash анализирует журналы, передает их в Elasticsearch, который Graphite затем запрашивает для построения диаграмм-н-графиков.
В качестве альтернативы, попробуйте Piwik - это якобы замена Google Analytics, но я считаю, что у них есть режим анализа локального файла, который похож на то, как работает awstats. Вы можете настроить rsyslog так, чтобы все ваши http-журналы пересылались на центральный сервер, который затем анализировался Piwik в режиме локального файла, давая вам «современный» интерфейс.
С другой стороны, Newrelic может вам больше понравиться. Это не бесплатно (как в пиве или в речи), но они гораздо дешевле, чем Splunk.
Чтобы уточнить: я бы не назвал AWStats и Webalizer «довольно устаревшими». Они звучат почти ИМЕННО нравится то, что вам нужно. Есть ли что-то, чего не делают эти продукты, что вам нужно?
Кажется, вы не хотите или, по крайней мере, очень не решаетесь выполнять какие-либо сценарии (в соответствии с вашими комментариями кактусов), поэтому простое нестандартное решение, такое как два, которые вы исключили, кажется идеальным.
Если вы твердо намерены не использовать вышеуказанные решения, то mod_apache_snmp & cacti должен дать вам именно то, что вы хотите. http://mod-apache-snmp.sourceforge.net/english/
Обратите внимание: в любом подобном продукте будет задействована настройка.