Я использую MySql server 5.1.52-community на стандартной версии win 2008 R2 x64. свой производственный сервер. когда уровень приложения «другой сервер» вводит слишком много запросов / TCP-соединений / «более 2000 запросов в секунду», уровень приложения останавливается.
Уровень приложений - это очень стабильный корпоративный продукт, который используется на слишком многих предприятиях. и служба поддержки четко сказала, что что-то не так с сервером db.
поэтому я много раз настраиваю конфигурацию mysql, и все же в случаях большой нагрузки уровень приложения останавливается.
сервер получил 16 ГБ памяти, но mysql использовал только около 5 ГБ. Итак, первый вопрос: как разрешить службе сервера mysql использовать до 12 ГБ.
я заметил одну странную вещь: процесс mysqld имеет более миллиона дескрипторов «1,114,345», и это очень ненормально, когда любой нормальный процесс имеет максимум 2000 дескрипторов! так что эксперты это нормально! если нет, то как это исправить.
эта база данных - innoDB без представлений или SP.
пожалуйста, помогите, спасибо,
РЕДАКТИРОВАТЬ: после просмотра комментариев экспертов, вот текущие конфигурации mysql:
[client]
port=3306
[mysql]
default-character-set=utf8
# SERVER SECTION
# ----------------------------------------------------------------------
#
# The following options will be read by the MySQL Server. Make sure that
# you have installed the server correctly (see above) so it reads this
# file.
#
[mysqld]
# The TCP/IP Port the MySQL Server will listen on
port=3306
#Path to installation directory. All paths are usually resolved relative to this.
basedir="C:/Autonomy/MySQL/"
#Path to the database root
datadir="D:/MySQL Datafiles/data/"
# The default character set that will be used when a new schema or table is
# created and no character set is defined
default-character-set=utf8
# The default storage engine that will be used when create new tables when
default-storage-engine=INNODB
# Set the SQL mode to strict
sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"
# The maximum amount of concurrent sessions the MySQL server will
# allow. One of these connections will be reserved for a user with
# SUPER privileges to allow the administrator to login even if the
# connection limit has been reached.
max_connections=400
# Query cache is used to cache SELECT results and later return them
# without actual executing the same query once again. Having the query
# cache enabled may result in significant speed improvements, if your
# have a lot of identical queries and rarely changing tables. See the
# "Qcache_lowmem_prunes" status variable to check if the current value
# is high enough for your load.
# Note: In case your tables change very often or if your queries are
# textually different every time, the query cache may result in a
# slowdown instead of a performance improvement.
query_cache_size=84M
# The number of open tables for all threads. Increasing this value
# increases the number of file descriptors that mysqld requires.
# Therefore you have to make sure to set the amount of open files
# allowed to at least 4096 in the variable "open-files-limit" in
# section [mysqld_safe]
table_cache=256
# Maximum size for internal (in-memory) temporary tables. If a table
# grows larger than this value, it is automatically converted to disk
# based table This limitation is for a single table. There can be many
# of them.
tmp_table_size=369M
# How many threads we should keep in a cache for reuse. When a client
# disconnects, the client's threads are put in the cache if there aren't
# more than thread_cache_size threads from before. This greatly reduces
# the amount of thread creations needed if you have a lot of new
# connections. (Normally this doesn't give a notable performance
# improvement if you have a good thread implementation.)
thread_cache_size=8
#*** MyISAM Specific options
# The maximum size of the temporary file MySQL is allowed to use while
# recreating the index (during REPAIR, ALTER TABLE or LOAD DATA INFILE.
# If the file-size would be bigger than this, the index will be created
# through the key cache (which is slower).
myisam_max_sort_file_size=100G
# If the temporary file used for fast index creation would be bigger
# than using the key cache by the amount specified here, then prefer the
# key cache method. This is mainly used to force long character keys in
# large tables to use the slower key cache method to create the index.
myisam_sort_buffer_size=738M
# Size of the Key Buffer, used to cache index blocks for MyISAM tables.
# Do not set it larger than 30% of your available memory, as some memory
# is also required by the OS to cache rows. Even if you're not using
# MyISAM tables, you should still set it to 8-64M as it will also be
# used for internal temporary disk tables.
key_buffer_size=320M
# Size of the buffer used for doing full table scans of MyISAM tables.
# Allocated per thread, if a full scan is needed.
read_buffer_size=64K
read_rnd_buffer_size=256K
# This buffer is allocated when MySQL needs to rebuild the index in
# REPAIR, OPTIMZE, ALTER table statements as well as in LOAD DATA INFILE
# into an empty table. It is allocated per thread so be careful with
# large settings.
sort_buffer_size=256K
#*** INNODB Specific options ***
innodb_data_home_dir="D:/MySQL Datafiles/"
# Use this option if you have a MySQL server with InnoDB support enabled
# but you do not plan to use it. This will save memory and disk space
# and speed up some things.
#skip-innodb
# Additional memory pool that is used by InnoDB to store metadata
# information. If InnoDB requires more memory for this purpose it will
# start to allocate it from the OS. As this is fast enough on most
# recent operating systems, you normally do not need to change this
# value. SHOW INNODB STATUS will display the current amount used.
innodb_additional_mem_pool_size=26M
# If set to 1, InnoDB will flush (fsync) the transaction logs to the
# disk at each commit, which offers full ACID behavior. If you are
# willing to compromise this safety, and you are running small
# transactions, you may set this to 0 or 2 to reduce disk I/O to the
# logs. Value 0 means that the log is only written to the log file and
# the log file flushed to disk approximately once per second. Value 2
# means the log is written to the log file at each commit, but the log
# file is only flushed to disk approximately once per second.
innodb_flush_log_at_trx_commit=2
# The size of the buffer InnoDB uses for buffering log data. As soon as
# it is full, InnoDB will have to flush it to disk. As it is flushed
# once per second anyway, it does not make sense to have it very large
# (even with long transactions).
innodb_log_buffer_size=13M
# InnoDB, unlike MyISAM, uses a buffer pool to cache both indexes and
# row data. The bigger you set this the less disk I/O is needed to
# access data in tables. On a dedicated database server you may set this
# parameter up to 80% of the machine physical memory size. Do not set it
# too large, though, because competition of the physical memory may
# cause paging in the operating system. Note that on 32bit systems you
# might be limited to 2-3.5G of user level memory per process, so do not
# set it too high.
#innodb_buffer_pool_size=1243M
innodb_buffer_pool_size=4096M
# Size of each log file in a log group. You should set the combined size
# of log files to about 25%-100% of your buffer pool size to avoid
# unneeded buffer pool flush activity on log file overwrite. However,
# note that a larger logfile size will increase the time needed for the
# recovery process.
innodb_log_file_size=622M
# Number of threads allowed inside the InnoDB kernel. The optimal value
# depends highly on the application, hardware as well as the OS
# scheduler properties. A too high value may lead to thread thrashing.
innodb_thread_concurrency=18
#Enter a name for the query log file. Otherwise a default name will be used.
# incase of remove command # for log sql queries will be logged
#log
#innod table extend
innodb_data_file_path=ibdata1:18M;inno_db_001:400M:autoextend
#innodb_log_group_home_dir="D:/MySQL Datafiles/"
lower_case_table_names=1
innodb_file_io_threads=4
innodb_lock_wait_timeout=50
#replication configuration
log-bin=mysql-bin
server-id = 1
поэтому я думаю, что если я изменился:
innodb_buffer_pool_size = 4096 млн
к
innodb_buffer_pool_size = 12 ГБ
12 ГБ будет выделено для службы / процесса mysqld. Правильно?? что еще нужно изменить?
Я также обнаружил, что если запрос занимает более 15 минут, приложение будет считать его неудачной попыткой, хотя mysql все еще работает над его получением! может быть, из-за этого ручки становятся очень большими!
также я думаю, что некоторые запросы должны считываться с подключенного сетевого диска. но ничего нельзя сделать, чтобы это изменить. это полностью вне моего контроля.
Ручки иногда могут стать настоящей головной болью. Что я обычно делаю с клиентами с этой проблемой, так это быстрое и грязное решение: выполните эту команду:
FLUSH TABLES;
Это закроет открытые ручки на всех столах и откроет их обратно. Я уверен, что ручки, которые не были закрыты должным образом, исчезнут, особенно когда таблица имеет десятки открытых ручек, и только один или два фактически используются. Я наблюдал, как дескрипторы падают в диаграммах MONyog, которые я построил сразу после запуска этого.
Вы, вероятно, выполняете запросы, которые выглядят вполне нормально и чей план EXPLAIN ничего вам не говорит. Но соберите вместе достаточно запросов, которые по отдельности накапливают открытые дескрипторы, и вы можете столкнуться с условиями гонки, когда дескрипторы открываются быстрее, чем закрываются. Видимый чистый эффект - это большое количество записей в журнале медленных запросов, запросы которых при автономном выполнении работают нормально. Кроме того, вы будете накапливать запросы, которые просто крутят колеса, выполняя копирование во временные таблицы или некоторую периодическую сортировку.
Вот пример переменной статуса для дескрипторов
Теперь этого не существует в MySQL 5.1.52, но вот вопрос: есть ли у вас запросы, которые выполняют ORDER BY ... DESC ??? Если да, то вы хотели бы иметь Handler_read_last. Поскольку вы этого не сделаете, что MySQL будет делать с ORDER BY ... DESC ??? Он прошел бы весь индекс, чтобы добраться до последней строки, собрать ключи и отсортировать их. Много ли в вашем приложении запросов такого рода ??? (Вопрос для вашего исследования)
Вот еще одна переменная состояния для дескрипторов:
Еще один вопрос для вашего исследования : У вас много запросов, которые выполняют полное сканирование индекса ???
Еще одна догадка: проверьте свои open_files_limit и innodb_open_files. Возможно, вам придется увеличить один или оба из них, если ограничение количества открытых файлов создает новые дескрипторы и оставляет другие дескрипторы позади.
Процесс mysqld имеет более миллиона дескрипторов "1,114,345"
Кажется очень высоким.
запрос занимает более 15 минут, приложение будет считать его неудачной попыткой, хотя mysql все еще работает над его получением!
эрк.
и у вас нет настроенного тайм-аута для mysql?
Что делает логический уровень? Использует ли он постоянные соединения? Можно ли перейти на непостоянное?
я думаю, что некоторые запросы должны быть прочитаны с подключенного сетевого диска
FFS! Если данные должны существовать на отдельном сервере, запустите MySQL на этом сервере и используйте объединенный драйвер или кластерную репликацию. Это единственный способ (кроме iscsi, который на самом деле не работает поверх файловой системы) заставить его вести себя как хорошо спроектированная система.
После того, как вы разобрались с проблемой удаленного диска, я бы порекомендовал:
1) по возможности использовать непостоянные соединения
2) настройка запросов - если все ваши запросы выполняются достаточно быстро, это не будет проблемой. Я использую несколько сценариев домашнего приготовления вместе с этот бит кода Perl чтобы определить, какие потребности сработали.
3) запустите mysqltuner.pl на своем сервере (также использует perl).
Существует бесплатная реализация Perl для MSWindows. Вот