Использование ЦП сервера MySQL резко возросло без видимой причины. Есть идеи, почему?
У меня есть сервер, посвященный MySQL. Среди ночи загрузка ЦП резко возросла без всякой видимой причины. Вот графики:
Как видите, загрузка ЦП резко возросла в пятницу 3:30. Большая часть прироста приходится на систему, а не на пользователя. Сервер MySQL вообще больше не выполнял запросов. Загрузка процессора просто взорвалась без видимых причин.
Первый скачок загрузки ЦП, произошедший в четверг 15:30, был вызван отправкой нового кода на веб-сервер. Код был возвращен к предыдущей версии в четверг 20:00, что привело к снижению нагрузки на процессор до нормального уровня. Но что-то произошло в пт 3:30 утра. Никаких изменений кода не было. Не знаю, что это было.
Вы хоть представляете, что могло случиться?
РЕДАКТИРОВАТЬ
Вот часть / var / log / cron около чт 15:30:
3 марта 15:25:01 db crond [8174]: (munin) CMD (/ usr / bin / munin-cron)
3 марта 15:25:01 db crond [8175]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
3 марта 15:26:01 db crond [8816]: (root) CMD (/ usr / local / cpanel / whostmgr / bin / dnsqueue> / dev / null 2> & 1)
3 марта 15:27:01 db crond [8947]: (корень) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:30:01 db crond [9411]: (root) CMD (/ etc / apf / apf --refresh >> / dev / null 2> & 1 &)
3 марта 15:30:01 db crond [9412]: (root) CMD (/ usr / lib64 / sa / sa1 1 1)
3 марта 15:30:01 db crond [9413]: (root) CMD (/usr/local/lp/apps/autoupdate/lp-autoupdate.pl> / dev / null 2> & 1)
3 марта 15:30:01 db crond [9414]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
3 марта 15:30:01 db crond [9415]: (root) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:30:01 db crond [9417]: (munin) CMD (/ usr / bin / munin-cron)
3 марта 15:33:01 db crond [10502]: (корень) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:35:01 db crond [10895]: (munin) CMD (/ usr / bin / munin-cron)
3 марта 15:35:01 db crond [10896]: (root) CMD (/ usr / bin / test -x / usr / local / cpanel / bin / tail-check && / usr / local / cpanel / bin / tail- чек)
3 марта 15:35:01 db crond [10897]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
3 марта 15:36:01 db crond [11494]: (корень) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:39:01 db crond [12028]: (корень) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:40:01 db crond [12451]: (корень) CMD (/ usr / lib64 / sa / sa1 1 1)
3 марта 15:40:01 db crond [12452]: (root) CMD (/ etc / apf / apf --refresh >> / dev / null 2> & 1 &)
3 марта 15:40:01 db crond [12453]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
3 марта 15:40:01 db crond [12456]: (munin) CMD (/ usr / bin / munin-cron)
3 марта 15:41:01 db crond [13384]: (root) CMD (/ usr / local / cpanel / whostmgr / bin / dnsqueue> / dev / null 2> & 1)
3 марта 15:42:01 db crond [13561]: (корень) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:45:02 db crond [14266]: (корень) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:45:02 db crond [14270]: (root) CMD (/usr/local/lp/apps/autoupdate/lp-autoupdate.pl> / dev / null 2> & 1)
3 марта 15:45:02 db crond [14272]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
3 марта 15:45:02 db crond [14273]: (munin) CMD (/ usr / bin / munin-cron)
3 марта 15:48:01 db crond [15314]: (корень) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:50:01 db crond [15835]: (munin) CMD (/ usr / bin / munin-cron)
3 марта, 15:50:01 db crond [15836]: (root) CMD (/ usr / lib64 / sa / sa1 1 1)
3 марта 15:50:01 db crond [15834]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
3 марта 15:50:02 db crond [15843]: (root) CMD (/ etc / apf / apf --refresh >> / dev / null 2> & 1 &)
3 марта 15:51:01 db crond [16734]: (корень) CMD (/ usr / local / sbin / bfd -q)
3 марта 15:54:01 db crond [17251]: (корень) CMD (/ usr / local / sbin / bfd -q)
А вот пропорция / var / log / cron около пятницы 3:30:
4 марта 03:25:01 db crond [10399]: (munin) CMD (/ usr / bin / munin-cron)
4 марта 03:25:01 db crond [10400]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
4 марта, 03:26:01 db crond [11056]: (root) CMD (/ usr / local / cpanel / whostmgr / bin / dnsqueue> / dev / null 2> & 1)
4 марта, 03:27:01 db crond [11258]: (mailman) CMD (/ usr / local / cpanel / 3rdparty / bin / python -S / usr / local / cpanel / 3rdparty / mailman / cron / nightly_gzip)
4 марта, 03:27:01 db crond [11259]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта 03:30:01 db crond [11506]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта 03:30:01 db crond [11507]: (root) CMD (/ etc / apf / apf --refresh >> / dev / null 2> & 1 &)
4 марта 03:30:01 db crond [11508]: (корень) CMD (/ usr / lib64 / sa / sa1 1 1)
4 марта 03:30:01 db crond [11509]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
4 марта 03:30:01 db crond [11510]: (munin) CMD (/ usr / bin / munin-cron)
4 марта 03:30:01 db crond [11515]: (root) CMD (/usr/local/lp/apps/autoupdate/lp-autoupdate.pl> / dev / null 2> & 1)
4 марта 03:33:01 db crond [12595]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта 03:35:01 db crond [12735]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
4 марта 03:35:01 db crond [12736]: (munin) CMD (/ usr / bin / munin-cron)
4 марта 03:35:01 db crond [12737]: (root) CMD (/ usr / bin / test -x / usr / local / cpanel / bin / tail-check && / usr / local / cpanel / bin / tail- чек)
4 марта 03:36:01 db crond [13355]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта 03:39:01 db crond [13822]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта, 03:40:01 db crond [13975]: (корень) CMD (/ etc / apf / apf --refresh >> / dev / null 2> & 1 &)
4 марта, 03:40:01 db crond [13976]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
4 марта 03:40:01 db crond [13977]: (root) CMD (/ usr / lib64 / sa / sa1 1 1)
4 марта 03:40:01 db crond [13978]: (munin) CMD (/ usr / bin / munin-cron)
4 марта 03:41:01 db crond [14796]: (корень) CMD (/ usr / local / cpanel / whostmgr / bin / dnsqueue> / dev / null 2> & 1)
4 марта 03:42:02 db crond [15068]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта 03:45:01 db crond [15441]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта 03:45:01 db crond [15443]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
4 марта 03:45:01 db crond [15442]: (munin) CMD (/ usr / bin / munin-cron)
4 марта 03:45:01 db crond [15444]: (root) CMD (/usr/local/lp/apps/autoupdate/lp-autoupdate.pl> / dev / null 2> & 1)
4 марта 03:48:01 db crond [16499]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта, 03:50:01 db crond [16705]: (root) CMD (/ usr / lib64 / sa / sa1 1 1)
4 марта, 03:50:01 db crond [16706]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
4 марта 03:50:01 db crond [16707]: (корень) CMD (/ etc / apf / apf --refresh >> / dev / null 2> & 1 &)
4 марта 03:50:01 db crond [16708]: (munin) CMD (/ usr / bin / munin-cron)
4 марта 03:51:01 db crond [17574]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта 03:54:01 db crond [18086]: (корень) CMD (/ usr / local / sbin / bfd -q)
4 марта 03:55:01 db crond [18222]: (root) CMD (/ usr / local / cpanel / bin / dcpumon> / dev / null 2> & 1)
Любые идеи?
И если это было задание cron, не должна ли загрузка ЦП снова упасть после того, как задание cron выполнено. Загрузка процессора остается постоянно высокой, и большая ее часть используется MySQL. Вот результат top:
top - 13:51:49 up 22 days, 21:35, 1 user, load average: 17.10, 17.67, 17.67
Tasks: 432 total, 1 running, 431 sleeping, 0 stopped, 0 zombie
Cpu(s): 14.5%us, 49.2%sy, 0.0%ni, 36.2%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 8177596k total, 6886860k used, 1290736k free, 545776k buffers
Swap: 4096564k total, 0k used, 4096564k free, 5264320k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1200 mysql 15 0 2258m 341m 4352 S 2036.1 4.3 1658:23 mysqld
4269 root 15 0 13008 1364 808 R 0.7 0.0 0:00.39 top
4636 root 10 -5 0 0 0 S 0.3 0.0 13:22.79 kjournald
1 root 15 0 10352 704 588 S 0.0 0.0 0:07.19 init
Управляет ли этот сервер MySQL базой данных общедоступного веб-сайта?
Ночью скачки ЦП могут иногда коррелировать с ботами поисковых систем, индексирующими большое количество страниц. Проверьте, совпадают ли ваши журналы доступа / аналитика на ваших веб-серверах.
Если mysqld все еще вызывает проблемы с вашим процессором, вы можете проверить вывод SHOW PROCESSLIST;
Я бы также проверил журналы mysql, чтобы узнать, что происходило, когда возникла проблема.
Моей первой мыслью также была задача cron.
Проверьте свои журналы и посмотрите, есть ли там что-нибудь (системный журнал или cron). Также, если вы используете структуру cron по умолчанию, проверьте папку cron.daily на наличие нового скрипта, который мог быть недавно установлен новым пакетом.
РЕДАКТИРОВАТЬ: также проверьте свои сценарии резервного копирования или журналы и посмотрите, нет ли у них проблем с завершением или доступом к файлам в системе.
Без дополнительной информации нет, я понятия не имею, что могло бы случиться. Использование ЦП явно резко выросло в указанных диапазонах, но я не знаю, что ваша система могла делать тогда: syslog был бы первым местом, где я бы начал искать. Повторяющийся всплеск именно Разница в двенадцать часов заставляет меня с подозрением относиться к обычной задаче cron, возможно, к резервному копированию или переиндексированию. Если вы можете предоставить немного больше контекста, я буду рад помочь вам разобраться в этом.