Назад | Перейти на главную страницу

Kafka, совместимый с Zookeeper 3.5, имеет функцию «Ребалансировка клиентских подключений»

В этом документе https://zookeeper.apache.org/doc/trunk/zookeeperReconfig.html функциональность динамической конфигурации описана для Zookeeper 3.5.

В этом документе есть 2 важных момента:

  1. При изменении динамической конфигурации одного экземпляра Zookeeper все экземпляры Zookeeper в ансамбле автоматически обновляют свои конфигурации.
  2. Клиенты ансамбля Zookeeper могут перебалансировать свои соединения при обновлении динамической конфигурации при условии, что они подписаны на /zookeeper/config в Zookeeper или позвоните getConfig, и обновить собственный список серверов Zookeeper, позвонив updateServerList

Все это кажется действительно многообещающим, потому что на данный момент (Kafka 2.12 и Zookeeper 3.4.9) конфигурации Zookeeper и Kafka статичны, и когда требуется заменить узел Zookeeper, изменения конфигурации необходимо внести в каждый экземпляр Zookeeper в ensemble и на каждом брокере Kafka, и все участники должны быть перезапущены для перезагрузки конфигураций.

У меня вопрос: при условии, что вы используете Zookeeper 3.5 и его новую динамическую реконфигурацию, есть ли совместимая с этим версия Kafka, которая обновит свою собственную конфигурацию zookeeper.connect, когда ансамбль Zookeeper будет перенастроен?

Kafka 2.0 обновляет zk до версии 3.4.12 https://issues.apache.org/jira/browse/KAFKA-6390.

И это было выпущено совсем недавно. Так что, я думаю, нам нужно подождать еще немного?