На данный момент у меня есть пара линодов с ext4. У меня есть настройка хадупа. Какие преимущества я получу, если перенесу файловую систему с ext4 на zfs?
Если я добавлю новый линод в свое облако, уменьшится ли время синхронизации по сравнению с ext4?
И каковы недостатки?
Из белая бумага от Adurant:
Преимущества этой конфигурации включают:
- Уменьшение накладных расходов на кластер Hadoop за счет снижения коэффициента репликации до 2x
- Снижение требований к хранилищу (дисковое пространство) за счет снижения коэффициента репликации до 2x
- Увеличено количество копий данных до 4 раз с помощью ZFS Storage Appliance.
- Добавлено сжатие данных через ZFS Storage Appliance o Дальнейшее сокращение требований к пространству для хранения даже в конфигурации зеркального пула
- Добавлено кэширование чтения и записи через ZFS Storage Appliance, уменьшающее время отклика ввода-вывода
- Добавлена защита данных (RAID 1) без дополнительных накладных расходов на кластер Hadoop
- Добавлена отказоустойчивость за счет кластерных головок ZFS Storage Appliance.
И результаты:
Результаты тестирования Hadoop ZFS Proof of Concept ясно показывают, что ZFS Storage Appliance более чем способно справляться с текущими рабочими нагрузками Hadoop. Обработка данных была ограничена ЦП, использование памяти было номинальным, использование ввода-вывода было номинальным, а данные были сжаты минимум в 3,5 раза.
Конечно, такие вещи, как эффективность сжатия, во многом зависят от ваших данных, а производительность зависит не только от конструкции, но и от реального оборудования. В документе также дается краткое изложение установки. Вы можете реплицировать его меньшим образом с меньшим количеством узлов и частью ваших реальных данных и запускать свои собственные тесты.