В настоящее время я помещаю почасовой трафик (общее количество входных запросов) моего веб-сайта в таблицу MySQL. Храню данные за последние 90 дней.
Я хочу проверять каждый час, скажем, 6-й час, увеличился / уменьшился ли трафик сверх некоторого порога, чем за последние 7 дней или за последние 30 дней 6-часовой трафик. В основном я вижу закономерность движения. У разных часов разные значения.
Для генерации предупреждений я хочу найти различные статистические показатели. Прочитав немного, я узнал, что Statsd можно использовать для этой цели.
Правильно ли использовать для отправки подобных предупреждений? Есть ли для этого лучшее / более простое решение?
Я не собираюсь строить дашборды.
Мои текущие данные выглядят так:
+---------------------+---------------------+-----------+----------+
| startTime | endTime | component | traffic |
+---------------------+---------------------+-----------+----------+
| 2015-05-01 00:00:00 | 2015-05-01 01:00:00 | rest | 29090345 |
| 2015-05-01 01:00:00 | 2015-05-01 02:00:00 | rest | 32224087 |
| 2015-05-01 02:00:00 | 2015-05-01 03:00:00 | rest | 35165799 |
| 2015-05-01 03:00:00 | 2015-05-01 04:00:00 | rest | 36903464 |
| 2015-05-01 04:00:00 | 2015-05-01 05:00:00 | rest | 40394130 |
| 2015-05-01 05:00:00 | 2015-05-01 06:00:00 | rest | 44874862 |
| 2015-05-01 06:00:00 | 2015-05-01 07:00:00 | rest | 49988600 |
| 2015-05-01 07:00:00 | 2015-05-01 08:00:00 | rest | 52240544 |
| 2015-05-01 08:00:00 | 2015-05-01 09:00:00 | rest | 54517705 |
| 2015-05-01 09:00:00 | 2015-05-01 10:00:00 | rest | 55277967 |
| 2015-05-01 10:00:00 | 2015-05-01 11:00:00 | rest | 55285309 |
| 2015-05-01 11:00:00 | 2015-05-01 12:00:00 | rest | 55572614 |
Вы можете использовать следующий сценарий SQL для сравнения трафика.
set @threshold = 50; /*threshold for comparing the traffic*/
set @limit = 30 /*how many days to consider while generating avg value*/
/*calculate the time range, comparison is done for the last hour*/
set @end_time = current_timestamp();
set @end_time = timestamp(date(@end_time), maketime(hour(@end_time), 0, 0));
set @start_time = date_sub(@end_time, interval 1 hour);
/*find out the traffic for the last hour*/
select traffic
from test.traffic_stats
where startTime >= @start_time
and endTime <= @end_time
into @curr_traffic;
/*now find out the avg traffic for the past @limit days*/
select ifnull(avg(traffic), 0)
from test.traffic_stats
where startTime < @start_time
and startTime >= date_sub(@start_time, interval @limit day)
and time(startTime) >= time(@start_time)
and time(endTime) <= time(@end_time)
into @avg_traffic;
/*generate the report*/
select concat(
'Current traffic '
@curr_traffic,
' is '
if(@curr_traffic > @avg_traffic + @threshold,
'more',
if(@curr_traffic < @avg_traffic - @threshold,
'less',
'same'
)
),
' compared to the avg traffic ',
@avg_traffic
) as result;
Скрипт сгенерирует отчет на основе среднего трафика за последние 30 дней, запросив test.traffic_stats стол. Измените сценарий в соответствии с вашими требованиями. Теперь сохраните этот сценарий SQL как report.sql и вы можете использовать Cron чтобы запускать его через определенные промежутки времени с помощью командной строки mysql, как указано ниже.
mysql -hhost -uuser -ppassword -s <report.sql | awk '{print $1}'
Результат будет извлечен и распечатан в стандартный вывод. Теперь вы можете использовать GNU Mailutils для отправки предупреждения на свой адрес электронной почты.
mail -s "$(mysql -hhost -uuser -ppassword -s <report.sql | awk '{print $1}')" you@example.com
Возможно InfluxDB может быть вам интересно. InfluxDB - это база данных временных рядов.
Вы можете отправить свои данные напрямую в InfluxDB через
Вы можете запрашивать InfluxDB через REST-API, и графический интерфейс не нужен. Но Графана хорошо работает с этим.