Иметь кластер из 35 узлов с большим количеством блоков в нем: ≈450K блоков на узел данных.
После изменения конфигурации (которое включало переназначение стоек и увеличение NameNode Xmx) HDFS стала проблемой. Невозможно выполнять операции копирования на случайных блоках, когда я пытаюсь скопировать файл в другой каталог, часто он создает _COPYING_ промежуточный файл и застревает. Если я попробую тот же файл снова, в большинстве случаев это удастся.
Если ему, наконец, удастся успешно скопировать застрявший файл, он выдает предупреждение в консоли
WARN hdfs.DFSClient: Slow waitForAckedSeqno took 229398ms (threshold=30000ms)
Что может быть причиной этого?
Решено:
MTU (размер Jumbo-пакета) был установлен на 1500 байт, изменен на 9000.