У меня есть небольшой (тестовый) кластер HDFS, который я использую как место для резервных копий моментальных снимков для Flink. Flink создает и удаляет примерно 1000 (маленьких) файлов в секунду. Вначале namenode справляется с этим без проблем, но со временем Количество блоков, ожидающих удаления накапливается до заполнения файловой системы. Когда я прекращаю работу Flink (т.е. больше никаких операций создания / удаления /…), количество ожидающих блоков уменьшается только примерно на 1,2e6 в час.
Что я хотел бы знать, так это… какая часть отвечает за эту медлительность? Имя, данные или узлы журнала? Ожидается ли такая скорость, или я могу настроить некоторую конфигурацию, чтобы получить на порядки быстрее?