Я новичок в kafka и готовлюсь использовать его для производства.
Какие стратегии можно использовать для перебалансировки хранилища данных, если брокерам для текущих разделов темы не хватает места на диске, если в кластер можно добавить больше брокеров?
В качестве простого примера предположим, что тема имеет в начале 3 раздела (1 реплика для упрощения проблемы), и 3 брокера каждый хранят 1 раздел темы, и каждый из этих разделов занимает 1 ТБ дискового пространства.
Как я могу добавить еще 3 новых сервера-брокера и изменить количество разделов темы на 6 и получить результат перебалансировки данных, когда каждый из 6 разделов занимает 500 ГБ дискового пространства на своем посреднике?
Я думаю, что эта проблема критична для вечного хранения большого количества данных в кластере kafka.
Спасибо.
Вы можете перебалансировать кластер https://www.linkedin.com/pulse/partitions-rebalance-kafka-raghunandan-gupta, или если у вас есть kafka manager (https://github.com/yahoo/kafka-manager) вы можете сделать это оттуда.