В HDFS файл разбивается на блоки, которые распределяются по нескольким узлам.
Мне интересно, верно ли это и для следующих распределенных файловых систем: NFS, файловые системы Andrew (и Bayou, Coda, если вы знаете)?
Спасибо.
Существует несколько версий протокола NFS - v2, v3, v4.0, v4.1 и v4.2. В версия 4.1 Протокол NFS определяет параллельная NFS, известный как pNFS, который определяет, как можно получить доступ к распределенным данным по протоколу NFS. Версия с поддержкой pNFS доступна в ядре Linux 3.9 и новее.
pNFS описывает различные способы доступа клиента к распределенным данным:
Хотя pNFS позволяет (и ожидает) разделение файла на несколько серверов данных (а-ля raid-0), все существующие file layout серверные реализации распределяют наборы файлов и хранят целые блоки одного файла на одном сервере. Конечно, со временем это может измениться.
Я ожидал, что Linux-сервер на основе блочного макета поддерживает чередование файлов, но я не эксперт в этом. Тебе лучше проверить Руководство администратора Redhat
НОТА Шлюз HDFS NFS использует NFSv3 и передает все (распределенные) данные через один узел.
Из них только HDFS была спроектирована с самого начала для разделения блоков данных по множеству узлов, и для этого использовался дисковый формат. Группа Dell HPC называет это параллельные файловые системы. Или, я полагаю, вы могли бы сказать масштабирование.
Остальные - это сетевые протоколы, обеспечивающие удаленный доступ к массивам хранения. В 1980-х это была распределенная задача: как подключить рабочие станции к центральному хранилищу данных отдела? Хотя AFS, Coda и Bayou имеют различные схемы репликации, они находятся на уровне сервера или тома, а не на уровне блока или экстента.
pNFS - это необязательное дополнение к NFS, которое позволяет блокировать доступ через произвольные протоколы данных. Эта абстракция допускает некоторую умную разработку того, где хранятся блоки данных. Но это сильно отличается от дизайна HDFS.
Обратите внимание, что Ceph, Lustre или HDFS имеют средства для предоставления доступа к файлам через NFS. Параллельные файловые системы, в которых хранилище объектов распределено по множеству узлов, иногда предоставляют наименее общий знаменатель для клиентов, которым требуется общий файловый ресурс. Еще больше уровней абстракции ...