У меня есть количество пиринговый HTTP-прокси, и мне нужно равномерно распределить мои запросы между ними, поэтому я добавил несколько cache_peer директивы и набор по-круговой как алгоритм однорангового выбора. Это мой конфиг:
# Basic configuration
visible_hostname squid_proxy_1
unique_hostname squid_proxy_1
http_port 3130
pid_filename /vagrant/squid_proxy_1.pid
cache deny all
http_access allow all
# Proxies
cache_peer MY_PROXY_HOST parent PROXY_PORT 0 round-robin no-query name=FIRST login=MY_PROXY_LOGIN-1:PASSWORD1
cache_peer MY_PROXY_HOST parent PROXY_PORT 0 round-robin no-query name=SECOND login=MY_PROXY_LOGIN-2:PASSWORD2
cache_peer MY_PROXY_HOST parent PROXY_PORT 0 round-robin no-query name=THIRD login=MY_PROXY_LOGIN-3:PASSWORD3
never_direct allow all
Но я столкнулся со следующей проблемой: cache_peer переключение производится не после каждого запроса. Вот как мой access.log выглядит как:
sudo tail -f /var/log/squid3/access.log
1460977613.775 23783 127.0.0.1 TCP_MISS/200 11371 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977621.171 4843 127.0.0.1 TCP_MISS/200 11413 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977628.367 5583 127.0.0.1 TCP_MISS/200 11412 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977634.270 4726 127.0.0.1 TCP_MISS/200 11354 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977642.429 6531 127.0.0.1 TCP_MISS/200 12841 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977645.563 1747 127.0.0.1 TCP_MISS/200 11360 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977653.731 7242 127.0.0.1 TCP_MISS/200 11408 GET http://www.google.com/ - ROUNDROBIN_PARENT/107.170.96.123 text/html
1460977658.559 3763 127.0.0.1 TCP_MISS/200 11374 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977660.516 1387 127.0.0.1 TCP_MISS/200 11398 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977662.863 1758 127.0.0.1 TCP_MISS/200 11414 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977664.667 1305 127.0.0.1 TCP_MISS/200 11419 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977676.157 10901 127.0.0.1 TCP_MISS/200 11384 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977678.565 1348 127.0.0.1 TCP_MISS/200 11321 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977681.742 2516 127.0.0.1 TCP_MISS/200 11383 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
Такое случается ТОЛЬКО ЕСЛИ Я ИСПОЛЬЗУЮ ЭТИ КОНКРЕТНЫЕ P2P-ПРОКСИ. Я попробовал ту же конфигурацию с бесплатными прокси, которые нашел в интернированных, и все работало нормально.
Я предполагаю, что проблема в том, что мои прокси-серверы могут быть сочтены Squid мертвыми (потому что они действительно иногда могут быть очень медленными), и поэтому мы не перенаправляем на них трафик, но я не уверен.
Есть ли способ получить больше информации об алгоритме однорангового выбора? Могу ли я настроить cache_peer варианты как-нибудь решить эту проблему?
Эта проблема решается запретом постоянных подключений. В моем случае я добавил следующую строку в конфигурацию, и теперь все работает нормально.
server_persistent_connections off
Огромное спасибо @BillThor, который помог мне в разделе комментариев.