Мне нужно создать частное облако, и я ищу лучшую настройку. Это два моих самых важных требования: 1. Резервирование дисков и системы. 2. Как можно более низкая цена за ГБ.
Система будет использоваться в качестве резервной копии, которая будет получать данные 24/7 через SFTP и rsync. Высокая пропускная способность не так уж и важна.
Я планирую использовать glusterfs и жесткие диски потребительского класса на 4 ТБ.
Я разработал 3 возможных варианта
3 сервера с 11 жесткими дисками по 4 ТБ. Установите реплику 3 glusterfs и настройте каждый жесткий диск как отдельный блок ext4. Общая емкость: 44 ТБ HDD / соотношение 0,75 ТБ (33HDD / 44 ТБ)
2 сервера с 11 жесткими дисками по 4 ТБ 11 жестких дисков объединены в пул хранения RAIDZ3 ZFS. С настройкой блеска реплика 2. Общая емкость: 32 ТБ (+ сжатие zfs) соотношение HDD / ТБ 0,68 (22HDD / 32 ТБ)
3 сервера с 11 потребительскими жесткими дисками по 4 ТБ. Настройте реплику 3 glusterfs, настройте каждый жесткий диск как отдельный пул хранения zfs и экспортируйте каждый пул как кирпич. Общая емкость: 32 ТБ (+ сжатие zfs) соотношение HDD / ТБ 0,68 (22HDD / 32 ТБ) (самый дешевый)
Мои замечания и опасения: если жесткий диск выйдет из строя, какая настройка восстановится быстрее всего? На мой взгляд, установка 1 и 3, потому что по сети нужно скопировать только содержимое 1 жесткого диска. Вместо настройки 2, когда жесткий диск необходимо восстановить, считывая данные о четности всех других жестких дисков в системе. Будет ли пул zfs на 1 жестком диске дать мне дополнительную защиту от, например, битовой гнили? С установкой 1 и 3 я могу потерять 2 системы и все еще работать с установкой 2, я могу потерять только 1 систему. Когда я использую ZFS, я могу включить сжатие, что даст мне дополнительное пространство для хранения.
Отказ от ответственности: у меня нет опыта работы с glusterfs.
Если вы планируете использовать ZFS, убедитесь, что у вас много оперативной памяти. У меня есть 5 жестких дисков по 2 ТБ в RAIDz1, и он использует около 10 ГБ ОЗУ. Таким образом, хорошее практическое правило - тратить не менее 1 ГБ ОЗУ на один ТБ жесткого диска.
ZFS на одном жестком диске не защитит вас от «битовой гнили».
Я считаю, что вам следует подумать о небольших пулах RAIDz2, подключенных к одному большому RAIDz2 или RAIDz3. Это дает вам большую защиту.