У меня есть кластер Hadoop, которому быстро не хватает места. Этот кластер построен на виртуальных машинах RHEL7 на GCP (Google Cloud Platform) Compute Engine. Первоначально я подготовил кластер с дисками 10 ГБ на 4 узлах, но этого, похоже, недостаточно, поскольку Ambari сообщает мне, что HDFS заполнена на 86%, хотя мне еще предстоит загрузить какие-либо данные. В любом случае, я вошел в консоль GCP и «расширил» свои диски до 20 ГБ на каждом узле. Думаю, у меня есть два вопроса: 1) Как мне установить дополнительную емкость в RHEL? 2) Как сообщить HDFS / Ambari использовать новую емкость?
Когда я запускаю 'fdisk -l', я вижу расширенный диск fdisk -l Но я не вижу его в df -h df -h, что имеет смысл, поскольку он еще не смонтирован.
Моя путаница связана с fdisk. Все 20 ГБ отображаются в / dev / sda1, но df показывает только 10 ГБ. Как мне установить дополнительную емкость, если fdisk уже показывает емкость как разделенную? Так как я просто увеличил существующий диск вместо того, чтобы добавить новый, это что-то напутало?
Следующие шаги по Изменение размера файловой системы и разделов на постоянном диске должен помочь вам в процессе изменения размера PD.
Примечание. После сеанса команды fdisk (которая вносит изменения в таблицу разделов) и перед повторным чтением таблицы разделов используйте команду partprobe, чтобы уведомить ядро об изменении следующим образом:
demo@google-my-disk:~$ sudo partprobe /dev/sda1
и подтвердите изменения:
demo@google-my-disk:~$ sudo fdisk -l
И согласно "
Как вы можете указать HDFS / Ambari использовать новую емкость?
Начните с идентификации диска с файловой системой и разделом с помощью следующей команды:
$ df -h
Вам нужно увеличить / домашнее пространство. Пошаговые инструкции можно найти в следующем посте на Как увеличить емкость HDFS
Раздел был расширен, но не файловая система над ним. Используйте соответствующую команду, чтобы развернуть его. С ext4 (и некоторыми другими) вы должны использовать команду resizefs. Насчет hdfs не уверен.