В настоящее время мое хранилище составляет 6 ТБ, и поскольку через несколько месяцев я вырасту до 30 ТБ, я хотел бы услышать несколько советов / рекомендаций по файловой системе и размеру полосы элементов, чтобы не иметь проблем в будущем. 90% файлов имеют размер 700–4 ГБ (в основном большие видеофайлы и архивы)
Сейчас я использую ext4 и размер полосы 64 КБ. Стоит ли увеличивать размер полосы до 128 КБ / 256 КБ? Будет ли zfs или xfs лучше ext4? Фактическое использование составляет 85% чтения и 15% записи. В будущем, когда корпус заполнится, чтение будет 100%, и я хотел бы иметь лучшую скорость прохода.
Попробуйте следующее: не используйте Raid 5 на дисках емкостью 2 ГБ или больше;) Для 30 ТБ я бы даже использовал зеркальное отображение Raid 6 (т.е. 2 копии в программном рейде), чтобы убедиться, что я сохраню данные в случае повреждения.
Сейчас я использую ext4 и размер полосы 64 КБ. Стоит ли увеличивать размер полосы до 128 КБ / 256 КБ? >
Аппаратный или программный? В целом да - читать больше данных намного проще, чем возвращаться позже. Не парень Linux здесь - но SQL Server, например, читает расширения на 64 КБ, но пытается сохранить данные таблицы в линейных блоках, чтобы уменьшить ввод-вывод. Хорошая большая файловая система будет пытаться сделать то же самое, что означает, что размер сегмента ввода-вывода больше 64 ГБ - это хорошо.
Я помню анализ Raid-контроллеров корпоративного уровня, который показал увеличение пропускной способности на 512 Кб / 256 кг по сравнению с меньшими размерами. Особенно, если у вас достаточно кеширования, чтобы оно «прилипло» к уровню Raid-контроллера.
Еще многое зависит от прочитанного. Архивы и файлы LArge в основном имеют линейный не произвольный доступ. Это полетит. У меня меньшая система, но мы выполняем избыточное чтение из почти 200 процессов на ней на большем количестве машин, машины с 1 ГБ, хранилище с 10 - так что это ТЯЖЕЛЫЙ случайный ввод-вывод, и теперь я использую Raid 6 из 8 велоцирапторы. Это половина гигабайта в секунду. 256 КБ Stripe, Raid 6, 1 ГБ кеш-памяти на Adaptec 71605Q. SSD в качестве кеша доступен, но не активен для этой группы;)
Многое зависит от шаблонов чтения.
Но держитесь подальше от Raid 5 для больших дисков. Это азартная игра с данными - если только вы не можете жить без Raid (во время полной перестройки, когда рейд срабатывает во время перестройки из-за сбоя диска) и иметь другой источник резервной копии (например, ленты). С математической точки зрения вы можете ожидать проблемы с таким количеством дисков емкостью 4 ТБ.