Назад | Перейти на главную страницу

Apache 2 обрабатывает запросы очень медленно после перезагрузки

У нас есть сервер обработки сокетов устройства GPS с использованием NodeJS, который отправляет полученный запрос HTTPS на установленный сервер Apache и сохраняет данные в базе данных MySQL. Когда мы перезапускаем установленный сервер NodeJS или Apache, скорость обработки запросов установленного сервера Apache становится очень низкой. На данный момент мы проверили производительность MySQL и ее правильную работу. В секунду с сервера NodeJS может быть запущено от 5 до 15 запросов. В нормальных условиях он работает нормально, но после перезапуска сервер становится очень хуже. Через несколько часов проблема автоматически решается. Пожалуйста, дайте руководство, как решить эту проблему и какие детали нужно предоставить для мониторинга?

Детали сервера:

Ubuntu server with 8GB RAM and 4 Cores processor.

Конфигурация MySQL:

key_buffer_size         = 16M
max_allowed_packet      = 16M
thread_stack            = 192K
thread_cache_size       = 8

query_cache_limit       = 1M
query_cache_size        = 16M
max_binlog_size   = 100M

innodb_log_file_size=512M
innodb_buffer_pool_size=6G
innodb_buffer_pool_instances=6
innodb_flush_log_at_trx_commit=2
innodb_flush_method=O_DIRECT_NO_FSYNC
innodb_log_files_in_group=5
innodb_open_files=1000
sync_binlog=0

max_connections=512
table_open_cache=1000
table_open_cache_instances=16
back_log=1000

query_cache_limit=2M
query_cache_size=0
query_cache_type=0

sort_buffer_size=32M
read_rnd_buffer_size=32M

Верхняя команда: Список лучших процессов, MySQL использует 6,8 ГБ

Через некоторое время MySQL автоматически перезагружается, и сервер снова становится медленным.

Apache Buddy

[ -- ] Parent PID: 19547.
[ OK ] Memory usage of parent PID is less than 50MB: 7268 Kilobytes.
[ -- ] Apache has been running 0d 23h 19m 11s.
[ !! ] *** LOW UPTIME ***.
[ @@ ] The following recommendations may be misleading - apache has been restarted within the last 24 hours.
[ -- ] Your server has 7976 MB of PHYSICAL memory.
[ -- ] Your ServerLimit setting is 512.
[ -- ] Your MaxRequestWorkers setting is 512.
[ OK ] Current Apache Process Count is 45, including the parent PID.
[ -- ] Number of vhosts detected: 5.
[ -- ]             |________ of which 3 are HTTP (specifically, port 80).
[ -- ]             |________ of which 2 are HTTPS (specifically, port 443).
[ OK ] Current Apache vHost Count is less than maxrequestworkers.
[ >> ] MaxRequestsPerChild directive not found.
[ -- ] This server is NOT running Plesk.
[ -- ] This server is NOT running cPanel.
[ -- ] This server is NOT running Virtualmin.
[ -- ] Your PHP Memory Limit (Per-Process) is 128M.
[ -- ] MySQL Detected => Using 7038.63 MB of memory.

[ OK ] No large log files were found in /var/log/apache2.
[ OK ] MaxClients has not been hit recently.
[ >> ] Apache only logs maxclients/maxrequestworkers hits once in a lifetime, if no restart has happened this event may have been rotated away.
[ >> ] As a backup check, please compare number of running apache processes (minus 1 for parent) against maxclients/maxrequestworkers.
[ OK ] No PHP Fatal Errors were found.

[ -- ] apache2 is currently using 1308.65 MB of memory.
[ -- ] The smallest apache process is using 9.73 MB of memory
[ -- ] The average apache process is using 9.82 MB of memory
[ -- ] The largest apache process is using 10.19 MB of memory
[ !! ] Going by the average Apache process, Apache can potentially use 5027.85 MB RAM:
        Without considering services: 63.04 % of total installed RAM
        Considering extra services: 536.38 % of remaining RAM
[ !! ] Going by the largest Apache process, Apache can potentially use 5217.28 MB RAM:
        Without considering services: 65.42 % of total installed RAM
        Considering extra services: 556.59 % of remaining RAM


--------------------------------------------------------------------------------
### GENERAL FINDINGS & RECOMMENDATIONS ###
--------------------------------------------------------------------------------
Apache2buddy.pl report for server:
Settings considered for this report:
[ !! ] *** LOW UPTIME ***.
[ @@ ] The following recommendations may be misleading - apache has been restarted within the last 24 hours.

    Your server's physical RAM:                                   7976 MB
    Remaining Memory after other services considered:             937 MB
    Apache's MaxRequestWorkers directive:                         512      <--------- Current Setting    
    Apache MPM Model:                                             prefork
    Largest Apache process (by memory):                           10 MB
[ !! ]  Your MaxRequestWorkers setting is too high.
    Your recommended MaxRequestWorkers setting (based on available memory) is between 81 and 91. <------- Acceptable Range (10% of MAX)
    Max potential memory usage:                                   5217 MB
    Percentage of TOTAL RAM allocated to Apache:                  65.42  %
    Percentage of REMAINING RAM allocated to Apache:              556.59  %
--------------------------------------------------------------------------------
A log file entry has been made in: /var/log/apache2buddy.log for future reference.

Last 5 entries:

2019/12/19 07:37:28 Uptime: "0d 02h 26m 52s" Model: "Prefork" Memory: "7976 MB" MaxRequestWorkers: "512" Recommended: "352" Smallest: "9.81 MB" Avg: "10.28 MB" Largest: "12.35 MB" Highest Pct Remaining RAM: "145.16%" (79.28% TOTAL RAM)
2019/12/20 07:06:41 Uptime: "0d 23h 19m 11s" Model: "Prefork" Memory: "7976 MB" MaxRequestWorkers: "512" Recommended: "91" Smallest: "9.73 MB" Avg: "9.82 MB" Largest: "10.19 MB" Highest Pct Remaining RAM: "556.59%" (65.42% TOTAL RAM)

Таблица расположения:

CREATE TABLE `locations` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `device_id` bigint(20) unsigned NOT NULL DEFAULT '0' COMMENT 'Device Associated with Location',
  `driver_id` bigint(20) unsigned NOT NULL DEFAULT '0' COMMENT 'Driver associated with the Device',
  `packet_type` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '1=Login\\n2=Heartbeat\\n3=Ping\\n4=Alarm',
  `latlng` point DEFAULT NULL COMMENT 'Longitude, Latitude',
  `lng` decimal(10,7) NOT NULL DEFAULT '0.0000000' COMMENT 'Longitude',
  `lat` decimal(10,7) NOT NULL DEFAULT '0.0000000' COMMENT 'Latitude',
  `device_time` datetime DEFAULT NULL,
  `server_time` datetime DEFAULT NULL,
  `imei` varchar(20) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `satellite` tinyint(3) unsigned NOT NULL DEFAULT '0',
  `speed` tinyint(3) unsigned NOT NULL DEFAULT '0',
  `acc` tinyint(3) unsigned NOT NULL DEFAULT '0',
  `heading` smallint(5) unsigned NOT NULL DEFAULT '0',
  `gsm_mcc` varchar(10) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Mobile Country Code',
  `gsm_mnc` varchar(10) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Mobile Network Code',
  `gsm_lac` varchar(10) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Location Area Code',
  `gsm_cid` varchar(10) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Cell Tower ID',
  `gsm_signal` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT 'GSM Signal Percentage',
  `battery_level` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT 'Battery Level Percentage',
  `alarm_code` varchar(5) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Alarm Code sent by GPS Device',
  `raw_data` varchar(300) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `raw_json` varchar(3000) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `status` tinyint(3) unsigned NOT NULL DEFAULT '1' COMMENT '0=Not Active\\n1=Active\\n2=Deleted',
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00',
  PRIMARY KEY (`id`),
  KEY `locations_device_id_index` (`device_id`),
  KEY `locations_status_index` (`status`),
  KEY `locations_created_at_index` (`created_at`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

Таблица поездок

CREATE TABLE `trips` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `device_id` bigint(20) unsigned NOT NULL DEFAULT '0' COMMENT 'Device Associated with Trip',
  `last_location_id` bigint(20) NOT NULL DEFAULT '0' COMMENT 'Last Location associated with the Trip Date',
  `trip_date` date NOT NULL,
  `items` longtext COLLATE utf8mb4_unicode_ci COMMENT 'Trips with points',
  `points` longtext COLLATE utf8mb4_unicode_ci COMMENT 'Received points',
  `is_place` tinyint(1) unsigned NOT NULL DEFAULT '1' COMMENT 'When enabled, Need to get places',
  `is_fetch` tinyint(1) unsigned NOT NULL DEFAULT '1' COMMENT 'When enabled, Need to fetch points from locations table',
  `status` tinyint(3) unsigned NOT NULL DEFAULT '1' COMMENT '0=Not Active\\n1=Active\\n2=Deleted',
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  KEY `trips_device_id_index` (`device_id`),
  KEY `trips_trip_date_index` (`trip_date`),
  KEY `trips_is_place_index` (`is_place`),
  KEY `trips_is_fetch_index` (`is_fetch`),
  KEY `trips_status_index` (`status`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

Схема критики

Широта / долгота: Мы планируем внедрить геозону, поэтому мы думали, что нам нужны точки для гео-пространственного поиска, поэтому оставьте это поле. Мы не реализовали это, если это не требуется, мы удалим это.

БОЛЬШОЙ: Устройства будут расти. Но на данный момент всего 400 устройств. Надеюсь, сейчас мы сможем использовать small int.

сырой Удалим оба поля

updated_at мы никогда не использовали

создано на чтобы создать поездку на текущую дату, мы используем это при выборе

положение дел Я не знаю о составном индексе, попробую его реализовать.

Верхняя команда

Проблемы с памятью

Ниже до innodb_buffer_pool_size=5G.

Я подозреваю, что системе не хватает памяти и она либо дает сбой, либо использует OOM killer, чтобы устроить беспорядок.

88% для MySQL - но сколько для Apache? ОС? Другие вещи? Не позволяйте этому доходить до 100%. Обмен ужасный для выполнения MySQL.

Уменьшите MaxRequestWorkers Apache.

Схема критики

Уменьшение занимаемого места на диске поможет, поскольку в этой таблице указан большой объем трафика.

Широта / долгота: вам нужно и то, и другое POINT (25 байт) и пара чисел (по 6 байт)? Вам нужна такая точность в числах? Видеть http://mysql.rjweb.org/doc.php/latlng#presentation_choices

IMEI - Разве это не 15 цифр? Конечно, не нужен utf8mb4. 15 цифр в varchar (20) займут 17 байтов. В DECIMAL(15), потребуется 7.

GSM: mcc, mnc, lac, cid могут быть нормализованы в другую таблицу и иметь 3-байтовый MEDIUMINT UNSIGNED для JOINing.

BIGINT - по 8 байт. Сколько устройств и драйверов вы планируете установить?

raw * - Вы, наверное, этим не пользуетесь? Их можно переместить в менее удобный файл (например), чтобы сэкономить много места в таблице. (Я предполагаю, что вы «никогда» не заглянули бы в файл (ы).)

raw * - если вы решите сохранить их в таблице, сжимая и используя VARBINARY уменьшит пространство примерно в 3 раза (выполните сжатие / распаковку в клиенте.)

created_at, updated_at - похоже на шаблон, который никогда не использовался. (По 5 байтов).

status - Индексирование столбца с низкой мощностью редко бывает полезным. У вас есть запрос, который может понадобиться? Если так, возможно, составной (многоколоночный) индекс будет полезен.

Я подозреваю, что эти изменения уменьшат эту таблицу вдвое.

Buffer_pool кэширование

Каждую вставленную строку необходимо вставить в каждый индекс:

  • ПК - на конец данных (1 горячая точка)
  • device_id - 1 хот-спот на устройство. Сколько устройств?
  • статус - 2? горячие точки
  • создан в - практически каждая строка идет в «конец» этого индекса. (1)

Вывод: Для вставка, фактически используется очень небольшая часть буферного пула. 16 КБ (размер блока) умножить на (D + 4), где D - количество устройств. Итого: несколько мегабайт?

У вас есть большие ВЫБОРЫ? Они могут перемещаться по столу, заставляя блоки приходить и уходить. Любое сканирование таблицы, вероятно, приведет к множеству операций ввода-вывода. Так что старайтесь избегать сканирования таблиц.

innodb_buffer_pool_size = 6Гб на сервере 8Гб тесновато. Понизьте его до 5G или меньше.

Apache's MaxRequestWorkers при 512 занимает много оперативной памяти и угрожает перегрузить MySQL из-за слишком большого количества одновременных подключений. Понизьте его и MySQL max_connections до, скажем, 100.

Скорость в секунду = RPS

Рекомендации для вашего раздела my.cnf [mysqld]

read_rnd_buffer_size=256K  # from 32M to conserve RAM and reduce handler_read_rnd_next RPS
sort_buffer_size=4M  # from 32M to conserve RAM footprint
thread_cache_size=100  # from 8 to reduce threads_created

Вы обнаружите, что эти изменения конфигурации значительно УМЕНЬШАЮТ ЦП. Просмотрите мой профиль, сетевой профиль для загрузки БЕСПЛАТНЫХ служебных скриптов для повышения производительности.