у нас есть несколько веб-серверов, и я планирую создать информационную панель для отображения статистики IP-адреса в реальном времени, геолокации и других пользовательских данных на основе поиска в базе данных. Splunk вроде как идеально подходит, но интересно, есть ли альтернатива с открытым исходным кодом. Я посмотрел на logstash и graylog2, но, насколько мне известно, они больше похожи на инструменты анализа журналов. Piwik в некотором роде интересен, за исключением того, что я не могу размещать JavaScript на веб-страницах. Все, к чему у меня есть доступ, это веб-журнал apache. Любые рекомендации, пожалуйста ..
С какой целью?
На самом деле существует 2 ветви веб-аналитики - маркетинговая информация и информация о производительности (и дизайн пользовательского интерфейса, который как бы охватывает и то, и другое).
Google Analytics, Open Web Analytics, Piwik и, в меньшей степени, AWstats, Analog и др. Предназначены в первую очередь для сбора маркетинговой информации (какова ваша клиентская база, где они находятся, какие браузеры они используют, какой коэффициент конверсии ...).
Со стороны производительности не так много выбора, но statsd + графит предоставляет потрясающий бэкэнд для хранения и представления данных из нескольких источников (журналы, ошибки javascript). В настоящее время я планирую установку с использованием этого в серверной части и Yahoo Boomerang для сбора данных о времени загрузки страницы. Посмотри на Графен для примера того, что он может делать. Написание, скажем, сценария awk для анализа журналов и передачи данных в бэкэнд было бы тривиальным.
Также есть такие инструменты, как PastMon, которые могут анализировать множество низкоуровневой сетевой статистики и сообщать о ней. Или mrtg.
Посетители имеет режим реального времени и может показать вам основную информацию, такую как наиболее посещаемые страницы, самые жаркие часы / дни и даже визуальный анализ пути.
Вы также можете передать свои журналы Apache в MySQL с помощью syslog-ng а затем используйте внешние интерфейсы, такие как логзилла (ранее известный как php-syslog-ng) для запроса данных.
Между прочим, интересный вопрос - я все слышу о лучших решениях! +1 к вашему вопросу из-за этого. :)
Старый добрый AWStats - это анализатор журналов в реальном времени, в котором есть информационные панели, виджеты, крылья, порталы, панели из стекла и другие подобные вещи. Вы даже можете настроить его с помощью плагинов по своему вкусу.
Как вы упомянули, есть Piwik, который имеет гибкий API отслеживания, вы можете вставить Javascript с <noscript> отметьте или вставьте простое изображение на свои страницы.
Вставьте следующий код, как предлагается в официальном API отслеживания Piwik страница:
<!-- Piwik Image Tracker -->
<img src="http://demo.piwik.org/piwik.php?idsite={$IDSITE}&rec=1" style="border:0" alt="" />
<!-- End Piwik -->
Нет необходимости в JS для основных функций. :)
Спасибо за все советы. В настоящее время я настроил logstash на клиенте для отправки журналов доступа на центральный сервер rabbitmq и использую другой экземпляр logstash для анализа данных в elasticsearch. с помощью RESTApi в elasticsearch я смог создать несколько интересных панелей мониторинга (например, текущее местоположение пользователей, обращающихся к веб-серверу).