Как освободить соединения PostgreSQL, которые не закрываются должным образом клиентскими приложениями?
У меня есть приложение для интеллектуального анализа данных, которое запускает несколько процессов, все из которых связаны с локальной базой данных PostgreSQL 9.1 для получения данных. Он работает нормально несколько часов, но затем умирает с ошибкой:
FATAL: remaining connection slots are reserved for non-replication superuser connections
Исследование показывает, что это, скорее всего, вызвано тем, что приложение не закрывает соединения должным образом. Однако даже после закрытия приложения эти соединения никогда не освобождаются. Нет ли какого-то тайм-аута, когда PostgreSQL автоматически закрывает соединение?
Я также попытался увеличить max_connections Postgres со 100 до 200, но перезапуск дал мне ошибку:
2014-02-23 10:51:15 EST FATAL: could not create shared memory segment: Invalid argument
2014-02-23 10:51:15 EST DETAIL: Failed system call was shmget(key=5432001, size=36954112, 03600).
2014-02-23 10:51:15 EST HINT: This error usually means that PostgreSQL's request for a shared memory segment exceeded your kernel's SHMMAX parameter. You can either reduce the request size or reconfigure the kernel with larger SHMMAX. To reduce the request size (currently 36954112 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
If the request size is already small, it's possible that it is less than your kernel's SHMMIN parameter, in which case raising the request size or reconfiguring SHMMIN is called for.
The PostgreSQL documentation contains more information about shared memory configuration.
Моя система - Ubuntu 12.04 и имеет 8 ГБ памяти, а все остальные настройки PG установлены по умолчанию, поэтому я не уверен, почему он считает, что в системе недостаточно памяти.
Затем я попытался использовать pgbouncer для объединения и повторного использования соединений. Казалось, это сработало немного лучше, но даже у этого в конечном итоге закончились соединения, что привело к ошибке:
ERROR: no more connections allowed
Как мне дополнительно диагностировать и исправить эту проблему?
Вы можете увеличить максимальное количество подключений, изменив максимальные настройки общей памяти, однако, если проблема в том, что ваши подключения не закрываются, вам действительно следует это решить. Если программное обеспечение вышло из-под вашего контроля и содержит ошибки из-за того, что не закрывает соединения, вы можете использовать какое-нибудь задание cron, например:
select pg_terminate_backend(procpid)
from pg_stat_activity
where usename = 'yourusername'
and current_query = '<IDLE>'
and query_start < current_timestamp - interval '5 minutes'
;
Это то, что я делаю, чтобы убить утечку соединений из аналогичного глючного ПО.
В качестве альтернативы вы можете запустить свое программное обеспечение с ошибками через пул соединений, который имеет аналогичную функциональность для уничтожения бездействующих соединений, таких как pgpool.
Заметка: В более новых версиях Postgres имена столбцов немного отличаются:
select pg_terminate_backend(pid)
from pg_stat_activity
where usename = 'YOURDATABASEUSERNAME*'
and state = 'idle'
and query_start < current_timestamp - interval '5 minutes'
;
Для более новых версий PostgreSQL:
select pg_terminate_backend(pid)
from pg_stat_activity
where usename = 'YOUR_DATABASE_USERNAME*'
and state = 'idle'
and query_start < current_timestamp - interval '5 minutes'
;
Вышеуказанное поможет вам разорвать неиспользуемые соединения. У меня была такая же проблема, но оказалось, что это проблема с моим способом Flask и SQLAlchemy подключиться к базе данных.
*usename - это не опечатка
Документ PG по управлению ресурсами ядра. это должен помочь вам увеличить лимит памяти в ядре.
параметры tcpkeepalive в postgresql.conf
Он автоматически завершит простаивающее tcp-соединение в соответствии с протоколом TCP KeepAlive.