Задний план:
Нам нужен свободный доступ к 30 ТБ аудиоданных, хотя для воспроизведения когда-либо запрашивается лишь небольшая их часть, это воспроизведение необходимо выполнять немедленно, даже для данных многолетней давности. Данные хранятся в сети хранения данных нескольких массивов, и для новых данных выполняется еженощное резервное копирование. Некоторые данные также удаляются каждую ночь. Поскольку оба являются событиями записи, назовите это 20 ГБ за ночь. Общая тенденция состоит в том, что новых данных записывается больше, чем удаляется старых.
Еженедельное патрульное чтение (PR) и проверка согласованности (CC) составляют большую часть дисковой активности в массивах, за исключением того, что они просто вращаются до отказа.
Вопрос:
Я пытаюсь выяснить, следует ли заменить дисковый SAN на другой, использующий NVMe, какой уровень RAID следует учитывать и имеет ли смысл снизить частоту PR или CC-активности для технологии VNAND?
Насколько я понимаю, то, что убивает VNAND, - это запись, и мы будем записывать гораздо меньше данных, чем дневной минимум на большинстве дисков, даже с учетом проверки согласованности.
Мне почти не удалось найти тестирование RAID 5/6 на NVMe или даже на SSD в целом. Я предпочитаю долгосрочную доступность.
Исследовательская работа:
Большинство других вопросов по этой теме предшествуют технологии NVMe и им 6-7 лет. Это исключение, но не совсем подходит для этого сценария.
Понимание требований к хранилищу NVMe и оборудованию
Связанный:
Долгосрочное хранение критически важных для бизнеса данных
Долгосрочное архивирование видео и аудио файлов
Настройка One Year Raid 0
Используя твердотельные накопители вместо жестких дисков, вы получите некоторое преимущество в мощности и, вероятно, получите преимущество в надежности (твердотельные накопители корпоративного уровня намного надежнее жестких дисков корпоративного уровня). Нет проблем с выносливостью и выносливостью, особенно на том уровне активности, который у вас есть, и даже на более высоких уровнях выносливость не является реальной проблемой. Скорее всего, вы также можете выбрать относительно более дешевые диски с оптимизацией для чтения (с 0,3 DWPD) и не беспокоиться о сроке службы диска.
Единственный вопрос в таком случае использования заключается в том, гарантирует ли стоимость приводов преимущества в мощности и надежности.
Что касается надежности / доступности, все твердотельные накопители корпоративного уровня, которые я видел, рекламируют MTBF в 2 миллиона часов, а те, с которыми я работал, превысили эту отметку. Противоположная сторона заключается в том, что все жесткие диски корпоративного уровня требуют 1,2 млн часов наработки на отказ, и ни один из них не прошел и половины, поэтому вы увидите большой скачок надежности с этим шагом. Опять же, стоит ли это того по цене или нет - это ваш расчет.
Моя квалификация здесь заключается в том, что я работал над корпоративными системами хранения, включающими жесткие и твердотельные диски, а также работал над интеграцией аппаратного и программного обеспечения и был глубоко вовлечен в надежность комбинированных систем. Наборы данных, на которые я полагался, являются частными, поэтому нет открытых исследований, на которые я мог бы указать.
Исчезновение электрических зарядов также убивает NAND. Вероятно, очень медленно на хорошем твердом состоянии, но со временем заметно. Совершенно отличается от магнитных шпинделей, хранящих данные в течение 10 и более лет. Если они снова раскрутятся, то есть.
Просмотрите данные о надежности как функцию записанных байтов, количества часов и других показателей. Спецификации поставщика, а также любые общедоступные наборы данных. Заменяйте диски всякий раз, когда они изнашиваются. Особенно ближе к концу их гарантии, может быть, 3 года.
Используйте для резервных копий носители, отличные от онлайн-данных. Если первичное хранилище является твердотельным, используйте ленту или магнитные шпиндели для защитного хранилища.
Обновляйте архивные носители не реже одного раза в 10 лет. Перенесите старые резервные копии, которые вам нужны, на любой текущий носитель защиты.
Быть хорошим архивариусом не зависит от типа носителя или схемы резервирования, хранилище со временем развивается. Здесь нет одного ответа даже для аналогичных требований к производительности, доступности и стоимости.
Флэш-память еще слишком нова, чтобы можно было полагаться на какие-либо масштабные исследования долгосрочной долговечности. Пока что индикаторы вспышки SLC и MLC выглядят хорошо и, кажется, дают вам такую же или лучшую долговечность, как вращающаяся ржавчина. TLC и особенно QLC flash слишком новы, чтобы делать какие-либо квалифицированные прогнозы, но можно разумно ожидать, что они обеспечат меньшую долговечность, чем SLC и MLC. Лично я бы не стал переходить от блесен к флеш-памяти из соображений долговечности, но, возможно, по другим причинам, например, производительности. Вместо этого я бы изучил функции целостности системы управления хранилищем и убедился, что она может правильно обрабатывать частично потерянные или поврежденные данные. ZFS, возможно, является лидером в этом отношении.