Назад | Перейти на главную страницу

импорт продукта прерван из-за облачной вспышки

У меня проблемы с устранением ошибок моей базы данных и с тем, как ее оптимизировать. Из-за медленности моего сервера (я полагаю, в основном это запросы), мой импорт превращается с кодом ошибки облачной вспышки. (Cloudflare блокирует соединения более 15 секунд, насколько я помню)

Нужны советы по их исправлению.

Я размещаю свой сайт WordPress на GCP с 1 виртуальным процессором, 4 ГБ оперативной памяти, 20 ГБ SSD. Я использую веб-сервер OpenLiteSpeed, php 7.4.4, mariadb 15.1. Создание сайта партнерской сети. Размещение изображений в облачном хранилище Google. Возникли проблемы со скоростью импорта. Получил более 500к товаров. Еле завезено около 200к. Теперь я не могу импортировать даже по одному или делать какие-либо другие правки через бэкэнд. Xml самого большого размера - это 100k продуктов, которые застряли на 96k и не продолжают двигаться.

Размер моей базы данных сейчас составляет 3,5 ГБ с 200 тыс. Товаров. Это будет вдвое больше, с + 500 тыс. Товаров.

Вот мой журнал mysql и журнал медленной работы, настройка my.cnf, советы mysqltuner и глобальные переменные.

Этим утром я понял, что не предоставил привилегии для user@127.0.0.1 после настройки пропуска имени-разрешения, и я сделал это, я только что получил 1 ошибку mysql, я думаю.

Поскольку mysqltuner предлагает увеличивать количество установленной оперативной памяти каждый день, я преобразовал все свои таблицы innodb в myisam.

Также я ищу помощь по использованию индексов с таблицами wp_postmeta и wp_posts.

Сообщите, что тот, кто внесет свой вклад в решение этих проблем. Большое спасибо.

MY.CNF https://gist.github.com/execash/d2add8445e48c26b3e369b18bcf8a18e

Журнал ошибок MySql https://gist.github.com/execash/1870e016c5b4794de3a81bc8635d76f9

Медленные журналы более 2 секунд https://gist.github.com/execash/30fbdeb7650a824e140ead3080fa1931

Глобальные переменные https://gist.github.com/execash/b6b241b5dc607e6f99b322debd1bb11a

Глобальный статус https://gist.github.com/execash/604e2b9625f41d31ce9870eda3935ed5

вывод mysqltuner https://gist.github.com/execash/aa269f91b5b08d1a4609d5c03d75916a

Скорость в секунду = RPS

Предложения, которые следует учитывать для флагов вашей базы данных Google Cloud,

log_slow_verbosity=query_plan,explain  # from query_plan for a more useful slow log
read_rnd_buffer_size=128K  # from 2M to reduce handler_read_rnd_next RPS of 67,482
read_buffer_size=512K  # from 4M to reduce handler_read_next RPS of 113,642
key_cache_age_threshold=7200  # from 300 (seconds) to minimize age out, only to read again
key_cache_segments=16  # from 0 to reduce mutex contention

Это лишь некоторые из областей, позволяющих значительно снизить загрузку ЦП. Для получения дополнительной помощи обращайтесь, пожалуйста.

Наблюдения: Импортируйте только 50 КБ строк на «загрузку миграции продукта», чтобы избежать проблем с тайм-аутом. Поскольку MyISAM намного медленнее, чем innodb в долгосрочной перспективе, по завершении миграции вам потребуется БОЛЬШЕ ОЗУ и ядер, а также дополнительная настройка таблиц данных innodb. Если вы активно не используете журнал медленных запросов, нет необходимости включать его более 15 минут, создайте индексы таблиц там, где они указаны в EXPLAIN, чтобы сократить время отклика. Использование mysqldumpslow поможет подытожить ваш медленный журнал в удобной форме. Не забудьте использовать многоколоночные (покрывающие индексы), когда это необходимо, чтобы помочь оптимизатору.

Я попытаюсь найти URL-адрес, который поможет улучшить таблицы wp_postmeta и wp_posts. Выложу, когда найду.