Назад | Перейти на главную страницу

Исчерпание лимита сокетов TCP для Linux (~ 70k)?

Я основатель torservers.net, некоммерческой организации, которая управляет узлами выхода Tor. У нас есть несколько машин с подключением к Gbit и множеством IP-адресов, и, похоже, мы достигли предела открытых TCP-сокетов на всех этих машинах. Мы находимся в районе ~ 70k от общего числа TCP-соединений (~ 10-15k на IP), а Tor как сумасшедший регистрирует «Ошибка привязки сетевого сокета: адрес уже используется». Есть ли решение для этого? BSD страдает той же проблемой?

Мы запускаем процессы Tor, каждый из которых слушает свой IP-адрес. Пример:

# NETSTAT=`netstat -nta`
# echo "$NETSTAT" | wc -l
67741
# echo "$NETSTAT" | grep ip1 | wc -l
19886
# echo "$NETSTAT" | grep ip2 | wc -l
15014
# echo "$NETSTAT" | grep ip3 | wc -l
18686
# echo "$NETSTAT" | grep ip4 | wc -l
14109

Я применил твики, которые смог найти в Интернете:

# cat /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
net.ipv4.conf.default.forwarding = 0
net.ipv4.conf.default.proxy_arp = 0
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.all.send_redirects = 0
kernel.sysrq = 1
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.icmp_ignore_bogus_error_responses = 1
net.core.rmem_max = 33554432
net.core.wmem_max = 33554432
net.ipv4.tcp_rmem = 4096 87380 33554432
net.ipv4.tcp_wmem = 4096 65536 33554432
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_moderate_rcvbuf = 1
net.ipv4.tcp_orphan_retries = 2
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_fin_timeout = 4
vm.min_free_kbytes = 65536
net.ipv4.netfilter.ip_conntrack_max = 196608
net.netfilter.nf_conntrack_tcp_timeout_established = 7200
net.netfilter.nf_conntrack_checksum = 0
net.netfilter.nf_conntrack_max = 196608
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 15
net.nf_conntrack_max = 196608
net.ipv4.tcp_keepalive_time = 60
net.ipv4.tcp_keepalive_intvl = 10
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.ip_local_port_range = 1025 65535
net.core.somaxconn = 262144
net.ipv4.tcp_max_tw_buckets = 2000000
net.ipv4.tcp_timestamps = 0

# sysctl fs.file-max
fs.file-max = 806854

# ulimit -n
500000

# cat /etc/security/limits.conf
*       soft    nofile 500000
*       hard    nofile 500000

Если есть процессы, привязанные к INADDR_ANY, то некоторые системы будут пытаться выбирать порты только из диапазона от 49152 до 65535. Это может объяснить ваш предел ~ 15 КБ, поскольку диапазон составляет ровно 16384 порта.

Википедия: Эфемерный порт

Вы можете расширить этот диапазон, найдя здесь инструкции для своей ОС:

Диапазон эфемерных портов

Это ограничение протокола TCP. Порт представляет собой короткое целое число без знака (0-65535). Решение - использовать разные IP-адреса.

Если программное обеспечение не может быть изменено, вы можете использовать виртуализацию. Создавайте виртуальные машины, соединенные мостом (без NAT) и использующие общедоступные IP-адреса, чтобы они не были преобразованы в NAT позже.

Проверьте с помощью netstat, что слушатели используют IP-адрес интерфейса, а не все адреса (0.0.0.0):

sudo netstat -tulnp|grep '0\.0\.0\.0'