Мы хотим предложить следующее, исходя из наших проблем с дисками kafka
У нас много кластеров HDP (на основе ambari, и все машины - redhat версии 7.2)
Каждый кластер включает 3 машины кафки, в то время как каждая кафка включает диск с ~ 15 Т
Поскольку у нас много проблем, диск увеличен до 100% используемой емкости (kafka Retention по какой-то причине не работает должным образом)
Затем мы думаем о задании cron, которое будет запускаться на машинах kafka каждую минуту.
А при кафке размер диска будет например - ~ 90%
тогда задание cron остановит всех брокеров kafka (служба kafka)
И этим мы избегаем, чтобы диск kafka стал 100% (как все знают, когда диск 100%, процесс очистки не будет работать)
Пожалуйста поделитесь своим мнением