Есть ли какая-нибудь утилита, которая помогает изменять вес внутреннего сервера в зависимости от его использования? (например, для балансировки нагрузки LVS использовался feedbackd)
Вы можете попробовать использовать другой алгоритм балансировки нагрузки. leastconn кажется, это то, что вы ищете:
balance leastconn
В соответствии с официальная документация HaProxy v1.4
leastconn The server with the lowest number of connections receives the
connection. Round-robin is performed within groups of servers
of the same load to ensure that all servers will be used. Use
of this algorithm is recommended where very long sessions are
expected, such as LDAP, SQL, TSE, etc... but is not very well
suited for protocols using short sessions such as HTTP. This
algorithm is dynamic, which means that server weights may be
adjusted on the fly for slow starts for instance.
Для сравнения с традиционными roundrobin:
roundrobin Each server is used in turns, according to their weights.
This is the smoothest and fairest algorithm when the server's
processing time remains equally distributed. This algorithm
is dynamic, which means that server weights may be adjusted
on the fly for slow starts for instance. It is limited by
design to 4128 active servers per backend. Note that in some
large farms, when a server becomes up after having been down
for a very short time, it may sometimes take a few hundreds
requests for it to be re-integrated into the farm and start
receiving traffic. This is normal, though very rare. It is
indicated here in case you would have the chance to observe
it, so that you don't worry.
Для этого я написал утилиту, вы можете скачать ее на GitHub: haproxy-динамический вес. Он позволяет динамически и автоматически выделять haproxy трафик между серверами пропорционально их загрузке.
Если это python & memcached решение не для вас, вы увидите ссылки в документации по сценарию и ссылки на две альтернативы.