Назад | Перейти на главную страницу

Совместимость HDFS с дисками разного размера на машинах с датанодом

У нас есть кластер HDP версии 2.6.5 с машинами узлов данных (HDFS)

hdfs version
Hadoop 2.7.3.2.6.5.0-292
Subversion git@github.com:hortonworks/hadoop.git -r 3091053c59a62c82d82c9f778c48bde5ef0a89a1
Compiled by jenkins on 2018-05-11T07:53Z
Compiled with protoc 2.5.0
From source with checksum abed71da5bc89062f6f6711179f2058
This command was run using /usr/hdp/2.6.5.0-292/hadoop/hadoop-common-2.7.3.2.6.5.0-292.jar

У нас есть 52 машины узлов данных в кластере, в то время как каждый узел данных включает 10 дисков, и размер каждого диска равен 10TB

Недавно мы добавили еще 30 машины узлов данных с 10 диски 4TB каждый диск в кластер, поэтому теперь у нас есть 82 узлы данных

Доза HDFS может справиться с несовпадением размеров дисков в кластере узлов данных?

Причина, по которой я задаю этот вопрос, заключается в том, что мы обеспокоены тем, что новые диски с 4TB на новые узлы данных может быть достигнута 100% полная емкость (поскольку диски составляют 40% от размера старых дисков)