Работая над веб-сайтами среднего размера, мы всегда создавали наши собственные решения для построения графиков трафика в реальном времени и отображали их на большом экране в стиле управления миссией, так что если трафик начинает расти, загрузка начинает расти, увеличивается задержка и т. Д., Мы можем начать просмотр проактивно, прежде чем система мониторинга отключится.
Сейчас я начинаю в новой компании, и нам нужно то же самое. Есть ли компании, у которых есть программные продукты для мониторинга веб-сайтов в режиме реального времени в стиле управления полетами? Не веб-аналитика, а отображение в реальном времени таких вещей, как одновременные пользователи, просмотры страниц, обращения, среднее время рендеринга HTML и т. Д. Это потребует установки какого-либо агента на каждом веб-сервере (или балансировщике нагрузки), поскольку отслеживания Javascript недостаточно. для обнаружения, например, когда спам-бот начинает атаковать сайт. Я погуглил и ничего не нашел.
Лучший инструмент, который я видел, это http://www.splunk.com он просматривает ваши файлы журналов в реальном времени и отображает данные в диаграммах на основе ваших запросов.
Возможно, какой-нибудь инструмент мониторинга RUM справится с этой задачей, поскольку он отслеживает производительность с точки зрения пользователей. Вы можете попробовать простые инструменты RUM, например http://www.gear5.me (требуется только простой фрагмент js) или более сложные, например http://www.newrelic.com , который требует наличия модуля на сервере для сбора данных.
Похоже, что Reconnoiter мог бы сделать, возможно, в сочетании с доставкой журналов (sys) или какой-либо статистикой из httpd
Есть ряд компаний, которые продают устройства, которые подключаются к сети, анализируют трафик и собирают статистику, которую вы ищете.
CoRadiant, CA Wily CEM, CA NetQos Super Agent, ...
Или вы можете создать его с помощью WireShark :-)
(Отказ от ответственности: я иногда являюсь оплачиваемым консультантом CEM)
Не могу понять, как бы вы сделали "среднее время рендеринга HTML" без небольшого количества Javascript, но все остальное вы можете создать с помощью MRTG, если ваша серверная среда * nix или у вас установлен Cygwin.
Проактивность - это здорово, но ваш пакет мониторинга должен отключиться, если произойдет что-то необычное, а не после того, как что-то станет критическим. Если только вы не планируете, чтобы кто-то смотрел графики 24/7.
Мы используем collectd для сбора данных и различные веб-интерфейсы для rrd: collection3, Drraw для их отображения.
Я не уверен, есть ли у вас бюджет на такие инструменты - если есть, я бы предложил использовать Splunk. Я использую его для аналогичной настройки мониторинга. Журналы доступа к веб-серверу / ошибок отправляются через системный журнал в Splunk, и мы создали информационные панели, чтобы предоставить нам конкретное представление этих данных. Мы также можем отображать графики приборной панели в реальном времени, поскольку новейшая версия Splunk теперь включает таймфрейм «в реальном времени».
Поскольку в наших приложениях также есть логика, которая передает данные в Splunk через системный журнал, мы можем сопоставлять данные о производительности приложения с традиционными журналами веб-сервера и извлекать из них полезную информацию. Одна из таких вещей - это обработка и рендеринг показателей, о которых вы упомянули.
YMMV as Splunk действительно нуждается в знаниях и сообразительности хорошего администратора для настройки и проектирования. Я видел, как больше чем горстка людей отвергает Splunk только для того, чтобы узнать, что это потому, что его потребности в оборудовании были так плохо спроектированы, что он в основном спотыкался, чтобы выйти из строя. Его язык поиска также требует некоторого обучения, если вы еще не являетесь опытным пользователем. Это не для всех, хотя я могу засвидетельствовать, что, когда он спроектирован правильно и вы заполняете его большим количеством данных, он быстро становится незаменимым инструментом для мониторинга и отчетности.