Не совсем уверен, возможно ли это вообще, но все же подумал, что спрошу.
Итак, у нас есть служба, которая подключается к потоковому API, который поддерживает соединение, и мы получаем объекты JSON, которые затем бросаем в брокер сообщений. К сожалению, у нас может быть открыто только одно соединение, что в настоящее время означает, что у нас есть только одна виртуальная машина, на которой запущен экземпляр.
В идеале, мы хотели бы иметь возможность масштабировать службу по мере необходимости, поэтому я думаю, что я ищу какую-то форму обратного балансировщика нагрузки?
Не уверен, существует ли такая вещь, но любые мысли были бы очень признательны
На стороне сервера вы поместите что-то вроде HAProxy перед серверами приложений для балансировки нагрузки между серверами.
На стороне клиента вы должны создать запись DNS с циклическим перебором, которая указывает на ваши HAProxies, предпочтительно с автоматической проверкой работоспособности, которая удаляет одну из DNS в случае сбоя.