на всех наших машинах kafka (производственных машинах) мы видим, что: (нет свободного места)
df -h /var/kafka
Filesystem Size Used Avail Use% Mounted on
/dev/sdb 11T 11T 2.3M 100% /var/kafka
и под / вар / кафка / кафка-журналы
мы видим все тематические папки (огромного размера) в качестве примера:
117G hgpo.llo.prmt.processed-28
117G hgpo.llo.prmt.processed-29
117G hgpo.llo.prmt.processed-3
117G hgpo.llo.prmt.processed-30
117G hgpo.llo.prmt.processed-31
117G hgpo.llo.prmt.processed-32
как лучше всего удалить тему / темы из папки / вар / кафка / кафка-журналы ,
и каковы именно шаги для этого, например, остановить службу перед удалением и т. д.
второй важный вопрос:
каков механизм автоматического удаления тем?
Используйте соответствующий log.retention.X свойства брокера, как описано Вот. По умолчанию журналы хранятся в течение 168 часов (7 дней), но вы можете установить его на 1 миллисекунду (что полезно для полной очистки темы).
Вы также можете установить срок хранения для каждой темы, используя bin/kafka-topics.sh.
Перед изменением этих свойств вы должны прочитать и понять документацию по сохранению и сжатию журналов.
Также имейте в виду, что журналы не очищаются немедленно, поэтому, если вы продолжите писать в них, у вас может закончиться дисковое пространство до того, как будет освобождено любое старое пространство.
Наконец, проверьте журналы выполнения брокера Kafka - в зависимости от того, что происходит с вашими брокерами, они также могут стать довольно большими. Использовать truncate команда в Linux, чтобы очистить их.