Назад | Перейти на главную страницу

Избегайте использования диска kafka, чтобы он на 100% использовался работой Cron

Мы хотим предложить следующее, исходя из наших проблем с дисками kafka

У нас много кластеров HDP (на основе ambari, и все машины - redhat версии 7.2)

Каждый кластер включает 3 машины кафки, в то время как каждая кафка включает диск с ~ 15 Т

Поскольку у нас много проблем, диск увеличен до 100% используемой емкости (kafka Retention по какой-то причине не работает должным образом)

Затем мы думаем о задании cron, которое будет запускаться на машинах kafka каждую минуту.

А при кафке размер диска будет например - ~ 90%

тогда задание cron остановит всех брокеров kafka (служба kafka)

И этим мы избегаем, чтобы диск kafka стал 100% (как все знают, когда диск 100%, процесс очистки не будет работать)

Пожалуйста поделитесь своим мнением