Назад | Перейти на главную страницу

Как сделать ребалансировку данных на kafka, если данные хранятся постоянно

Я новичок в kafka и готовлюсь использовать его для производства.

Какие стратегии можно использовать для перебалансировки хранилища данных, если брокерам для текущих разделов темы не хватает места на диске, если в кластер можно добавить больше брокеров?

В качестве простого примера предположим, что тема имеет в начале 3 раздела (1 реплика для упрощения проблемы), и 3 брокера каждый хранят 1 раздел темы, и каждый из этих разделов занимает 1 ТБ дискового пространства.

Как я могу добавить еще 3 новых сервера-брокера и изменить количество разделов темы на 6 и получить результат перебалансировки данных, когда каждый из 6 разделов занимает 500 ГБ дискового пространства на своем посреднике?

Я думаю, что эта проблема критична для вечного хранения большого количества данных в кластере kafka.

Спасибо.

Вы можете перебалансировать кластер https://www.linkedin.com/pulse/partitions-rebalance-kafka-raghunandan-gupta, или если у вас есть kafka manager (https://github.com/yahoo/kafka-manager) вы можете сделать это оттуда.