Проблема
Я читал много дискуссий о хранилищах и о том, что лучше: твердотельные накопители или классические жесткие диски. Я совершенно сбит с толку. Жесткие диски по-прежнему предпочтительнее, но почему?
Что лучше для активного хранилища? Например для баз данных, где диск активен постоянно?
Насчет SSD.
Плюсы.
Минусы.
Вопрос.
Насчет HDD.
Плюсы.
Минусы.
Дело только в цене? Почему предпочтительны жесткие диски? И действительно ли SSD-диски полезны для серверов?
Один из аспектов моей работы - проектирование и создание крупномасштабных систем хранения (часто называемых «SAN» или «Storage Area Networks»). Обычно мы используем многоуровневый подход с объединением SSD и HDD.
Тем не менее, каждый из них имеет определенные преимущества.
SSD почти всегда имеют более высокую стоимость за байт. Я могу получить 10 000 жестких дисков SAS 4kn по цене 0,068 доллара США за гигабайт. Это означает, что примерно за 280 долларов я могу получить диск на 4 ТБ. С другой стороны, твердотельные накопители обычно имеют цену за гигабайт от 10 до 20 центов и даже до долларов за гигабайт.
При работе с RAID скорость становится менее важной, и вместо этого гораздо большее значение имеют размер и надежность. Я могу построить систему RAID 12 ТБ N + 2 с жесткими дисками, которые намного дешевле, чем твердотельные накопители. В основном это связано с пунктом 1.
При правильном обращении замена и обслуживание жестких дисков чрезвычайно дешевы. Поскольку стоимость байта ниже, замена жесткого диска на другой из-за сбоя обходится дешевле. А поскольку отказы жестких дисков обычно связаны со временем и записью данных, его замена не приводит к автоматическому использованию TBW при восстановлении массива RAID. (Конечно, процент TBW, использованный для перестройки, в целом крошечный, но суть остается в силе.)
Рынок SSD относительно сложен. Существует четыре (текущих, на момент написания) основных типов SSD, оцениваемых от наибольшего общего числа поддерживаемых операций записи до наименьшего: SLC, MLC, TLC, QLC. SLC обычно поддерживает наибольшее количество общих операций записи (основной ограничивающий фактор срока службы SSD), тогда как QLC обычно поддерживает наименьшее количество общих операций записи.
Тем не менее, самые успешные системы хранения, которые я видел, являются многоуровневыми, когда используются оба диска. Лично все системы хранения, которые я рекомендую клиентам, обычно относятся к следующим уровням:
По мере увеличения уровней производительность чтения / записи падает, данные распространяются вниз на уровень, где большая часть данных имеет одинаковую частоту доступа / изменения. (То есть чем чаще данные читаются / записываются, тем выше уровень, на котором они находятся.)
Добавьте туда хорошо продуманный волоконно-оптический канал, и вы сможете построить сеть SAN с более высокой пропускной способностью, чем на борту диски бы.
Теперь о некоторых конкретных пунктах, которые вы упомянули:
Как именно SSD работает, когда жизненный цикл одной ячейки отсутствует, что тогда? Диск сокращен только на эту ячейку и нормально работает? Или что случилось потом?
Какое решение (файловую систему) лучше всего написать? Думаю, ext4 хорош, потому что сохраняет в ячейки последовательно?
В случае механической неисправности нет возможности отремонтировать (это правильно)?
Самая медленная, но, думаю, скорость не так уж и важна, ведь скорости жесткого диска вполне достаточно для использования сервера?
HDD по-прежнему предпочтительнее
Это? Я не уверен, что это правда.
Жестких дисков бывают больших размеров для достойной цене прямо сейчас, это неоспоримо, и я думаю, что люди доверяют им в течение более длительного хранения данных, чем SSD, тоже. Кроме того, когда твердотельные накопители умирают, они, как правило, умирают полностью, все за один раз, тогда как жесткие диски, как правило, умирают более предсказуемым образом, что, возможно, дает больше времени, чтобы сначала получить данные, если это необходимо.
Но в остальном SSD - это путь вперед для большинства применений - вам нужна загрузочная пара, пара 500 ГБ SATA в R1 не будет стоить земли, для использования DB вы действительно не сможете превзойти SSD (пока ваши журналы находятся на в любом случае высокопрочные модели). Для резервного копирования да, вы можете использовать большие жесткие диски 7.2k, то же самое для очень больших наборов данных (на самом деле я купил более 4000 жестких дисков 10TB в начале прошлого года только для этого требования), но в остальном SSD - это путь вперед.
Твердотельное состояние для всего горячего: интерактивного использования, баз данных, всего в сети. Шпиндели как дешевое теплое хранилище, только для не совсем холодных архивов или редко используемых данных. В частности, жесткие диски в промежуточной области перед резервным копированием архивируются на ленту.
Различные типы носителей для горячего и холодного также помогают в некотором разнообразии. Ошибка потери данных в контроллере SSD была бы намного хуже, если бы он извлекал как оперативные, так и резервные данные. Вряд ли, но шпиндели и лента в любом случае дешевы, так зачем рисковать.
Режим отказа какого-либо конкретного устройства не важен, если массивы остаются избыточными и имеют резервную копию. Обычно процедура заключается в замене диска при любых признаках неисправности. Поэкспериментируйте с их ремонтом в своих тестовых системах, где любой катастрофический отказ не влияет на производственные службы.
Файловая система - это вопрос личных предпочтений. Хотя существуют файловые системы, оптимизированные для SSD, более важным может быть то, что вы знаете и можете исправить.
Большим преимуществом SSD является скорость и надежность, однако один из маленьких грязных секретов - ограниченное количество циклов записи, которое имеет SSD. Если вы создаете сервер, на котором много операций записи на жесткий диск, например, база данных или почтовый сервер, вам понадобится более дорогой твердотельный накопитель с более высоким сроком службы.
NAND Flash имеет 3 типа
TLC в основном разработан для веб-серверов или серверов архивов с небольшими циклами записи. MLC предназначен для серверов, которые имеют сочетание циклов чтения и записи, например, серверы баз данных небольшого объема. SLC разработан для серверов с большим количеством циклов чтения / записи, таких как сервер баз данных большого объема.
Основным движущим фактором между SSD и HDD является приложение и бюджет. В идеальном мире жесткие диски SLC SSD сделали бы стандартные жесткие диски устаревшими, но мы еще не достигли этого.
Жесткие диски по-прежнему предпочтительнее, но почему?
Это зависит от того, с кем вы разговариваете, их опыта (менеджмент, ИТ, продажи и т. Д.) И от типа сервера, о котором идет речь. Жесткие диски, как правило, на порядок дешевле из расчета на один байт, но потребляют больше энергии и почти всегда медленнее, в зависимости от рабочей нагрузки.
Почти всегда все сводится к стоимости и количеству хранилища, которое можно разместить на определенном количестве серверов. Если вы можете получить производительность 5-дискового raid-массива с одним SSD, SSD, вероятно, будет намного дешевле и потребляет часть энергии, но вы также получите, возможно, 1/10 хранилища.
Что лучше для активного хранилища?
Здесь все усложняется, и поэтому многие люди пропускают усложнение и просто выбирают жесткие диски, которые они знают.
SSD бывают разных классов с ограничениями на то, сколько данных может быть записано в ячейки, что НЕ совпадает с объемом данных, записываемых хостом. При записи небольших объемов данных в ячейки записываются большие объемы, это называется усилением записи и может быстро убить диски с низким рейтингом выносливости.
Ячейки SSD названы по количеству битов, которые они могут хранить, для хранения n-бит им требуется 2 ^ n уровней напряжения на ячейку. TLC (тройной бит) требует 8 уровней напряжения для адресации этих битов. Как правило, каждый раз, когда вы увеличиваете количество битов на ячейку, вы получаете 3-10-кратное снижение прочности ячейки. Для пример, накопитель SLC может записать все ячейки 100000 раз до того, как ячейки умрут, eMLC предприятия 30000 раз, MLC 10000, TLC 5000, QLC 1000.
Также есть усовершенствования поколений в технологии ячеек SSD, улучшенная литография и 3D NAND, улучшающие плотность и производительность по сравнению со старыми 2D NAND. «Сегодняшний MLC лучше, чем вчерашний SLC», - цитирует аналитика Джим Хэнди.
На самом деле твердотельные накопители не записывают напрямую в адресованные ячейки, они записывают в блоки ячеек. Таким образом, блок имеет более согласованное количество операций записи в ячейку, и когда ячейки выходят за пределы допуска, весь блок помечается как плохой, а данные перемещаются в новый блок. Срок службы SSD зависит от типа ячейки, количества доступных запасных блоков, объема накладных расходов на исправление ошибок и того, как диск использует кэширование и алгоритмы для уменьшения усиления записи. Допуск, который производитель выбирает для маркировки как плохой, также играет важную роль: корпоративный диск будет отмечать блоки как плохой раньше, чем потребительский, даже если любой из них по-прежнему полностью исправен.
Твердотельные накопители с высокой степенью записи корпоративного уровня основаны на ячейках SLC или eMLC и имеют большое количество запасных блоков и обычно имеют большой кэш с конденсаторами, чтобы обеспечить возможность сброса кеша на диск при отключении питания.
Существуют также диски с гораздо меньшим сроком службы для приложений с высокой степенью чтения, таких как файловые серверы, которым требуется быстрое время доступа, они стоят меньше за байт за счет уменьшения срока службы, с разными типами ячеек, меньшим объемом свободной области и т. Д. могут иметь только 5% срока службы диска с высокой скоростью записи, но они также не нуждаются в этом при правильном использовании.
Например, для базы данных, где диск активен все время?
Моя база данных небольшая, с прерывистым чтением, составляющим 95% доступа, и большая часть ее кэшируется в ОЗУ, это почти так же быстро на жестком диске, как и на SSD. Если бы он был больше, в системе не было бы достаточно оперативной памяти, и SSD начал бы иметь огромное значение во времени доступа.
SSD-накопители также делают резервное копирование и восстановление на порядок быстрее. Моя БД восстановлена из резервной копии примерно за 10 минут на медленный SSD или около 11 секунд для действительно быстрого резервное копирование на жесткий диск заняло бы около 25 минут. Это как минимум два порядка, и это может иметь огромное значение в зависимости от рабочей нагрузки. Он может окупить себя буквально в первый день.
Базы данных с огромным количеством мелких записей могут убить TLC-накопитель потребительского уровня в считанные часы.
И действительно ли SSD полезен для сервера?
Безусловно, если для приложения будут выбраны правильный тип и класс диска, если вы сделаете это неправильно, это может стать катастрофой.
На моем сервере работает несколько баз данных, а также сетевое хранилище с высокой скоростью чтения, хранилище видеозаписей с высокой степенью защиты от записи, а также хранилище файлов со смешанным чтением и записью и резервное копирование клиентов. Сервер имеет массив жестких дисков RAID-6 для массового сетевого хранилища и NVR, один высокопроизводительный MLC SSD для MySQL и 3 потребительских диска TLC в RAID-5 для резервного копирования клиентов и баз данных и быстрого доступа к сетевому хранилищу.
Скорость записи на SSD RAID примерно такая же, как на HDD RAID, но скорость чтения с произвольным доступом более чем в 10 раз выше на SSD RAID. Опять же, это потребительский TLC SSD, но поскольку скорость последовательной записи примерно в 3 раза выше, чем у гигабитной локальной сети, он никогда не перегружается, и есть много накладных расходов, если система выполняет локальное резервное копирование при удаленном доступе.
Большинство SSD также предлагают мгновенное безопасное стирание (ISE), который может стереть данные за несколько секунд, по сравнению с несколькими часами или днями для жестких дисков, которые не имеют этой функции, только несколько жестких дисков корпоративного уровня, как правило, предлагают ISE, но они становятся все более распространенными. Это очень полезно, если вы уходите на пенсию или перепрофилируете диск.
Какое решение (файловую систему) лучше всего написать?
Зависит от типа данных и типов функций файловой системы, которые вам нужны. Я использую только EXT4 и BTRFS (нужны снимки и контрольные суммы). Накладные расходы файловой системы уменьшат используемое пространство и могут немного сократить срок службы твердотельных накопителей, BTRFS имеет высокие накладные расходы на контрольные суммы и другие функции, а моментальные снимки будут использовать много места.
В случае механической неисправности нет возможности отремонтировать (это правильно)?
Независимо от типа диска, приходилось ли вам когда-нибудь восстанавливать данные с мертвого диска? Может быть очень дорогой, вам лучше иметь многоуровневое резервное копирование, RAID в основном хранилище, резервные копии с поддержкой версий локально на другом устройстве или машине, а затем выполнять синхронизацию с удаленным или облачным хранилищем. 1 ТБ облачного хранилища стоит 5 долларов в месяц, восстановление данных на жестком диске может стоить вам 2 тысячи, а мертвый твердотельный накопитель может быть невозможно восстановить ... просто сделайте резервную копию и забудьте о ремонте.
ОБЕ.
Мне еще предстоит увидеть, как SSD умирает из-за нагрузки записи (в этом случае они должны быть доступны только для чтения). Не то чтобы они не умирают по другим причинам, включая, помимо прочего, перегрев и ошибки прошивки.
И я видел мертвый HDD. На самом деле их намного больше.
Вот и все о надежности.
В некоторых случаях имеет смысл делать смешанный RAID1 (HDD + SSD). Таким образом вы можете застраховаться от режимов отказа, связанных с ними обоими, и при этом сохранить производительность чтения SSD.
В других случаях имеет смысл использовать SSD только для журнала файловой системы - вы получите вдвое большую производительность записи по сравнению с жестким диском (потому что вы сэкономите половину операций записи и половину поисков) и, как правило, никакого риска, даже если вы используете SSD. умирает. Ext4 довольно изящно теряет журнал.
Следует учитывать два основных фактора:
Твердотельные накопители выносят жесткие диски из воды с точки зрения производительности. Если вам нужна высокая пропускная способность и малое время доступа, ничто не сравнится с твердотельными накопителями.
Но стоимость гигабайта SSD намного выше, чем у HDD. Если вам нужно много места для хранения и пропускная способность или время доступа менее важны, ничто не сравнится с жесткими дисками.
Показателям пропускной способности (полосы пропускания) может помочь соответствующий уровень RAID (хотя и не так много времени доступа, если только ваши диски не имеют достаточного количества накопленных данных, что создает проблемы с очередями).
Цифры времени доступа для чтения для небольших наборов данных могут быть поддержаны соответствующим кэшированием (т. Е. Размещением большего объема оперативной памяти на вашем сервере). Однако это не поможет при записи (за исключением кэшей ОЗУ с резервным питанием от батареи в контроллерах или дисках).
Так что все действительно зависит от вашего варианта использования. Для сервера резервного копирования / архивирования, который требует большой емкости, но не заботится о времени доступа или пропускной способности, лучше использовать жесткие диски. Сервер базы данных с высоким трафиком предпочтет SSD. Между ... зависит.
В любой ситуации:
Вам нужны резервные копии. Это не вопрос если диск (SSD или HDD) выйдет из строя, это вопрос когда.
Если сервер имеет какое-то значение, вам нужен какой-то RAID для поддержания безотказной работы и защиты данных. RAID также обычно помогает повысить производительность. Это во многом зависит от ваших требований (опять же, компромисс между производительностью и стоимостью).
Как уже упоминалось, большая разница - это цена за ГБ и производительность произвольного ввода-вывода.
Возьмем, к примеру, Seagate Exos 16 ТБ: при цене ~ 550 долларов он составляет 0,034 доллара за ГБ. Теперь сравним его с Micron 5200 ECO 7,68 ТБ начального уровня (по скорости) по цене ~ 1300 долларов, что дает соотношение 0,14 доллара за ГБ: жесткий диск в 5 раз дешевле, но в то же время в 2 раза больше. С другой стороны, производительность произвольного ввода-вывода SSD напрасно лучше, с одной уловкой: потребительские твердотельные накопители, не имеющие кэша обратной записи с защитой от потери мощности, довольно медленны (иногда такие же медленные, как и жесткий диск) для синхронизированных рабочих нагрузок с произвольным вводом-выводом (например, базы данных, виртуальные машины). Это очень важный момент, редко анализируемый онлайн-отзывами. Корпоративные твердотельные накопители, в которых почти повсеместно используются конденсаторы в качестве защиты от потери питания, не страдают от этой слабости, поскольку имеют очень высокий уровень случайного ввода-вывода для чтения и записи.
Из вышесказанного вы можете понять, почему SSD убили высококлассные диски SAS 15K и 10K: они обеспечивают много лучшая производительность при сопоставимой стоимости (особенно дорогими были диски 15K). С другой стороны, жесткие диски 7,2 КБ прочно закрепились в системах хранения большой емкости.
Intel Optane (который основан на Xpoint, а не на NAND) принадлежит к собственному классу как по скорости, так и по долговечности. очень высокая цена за Гбайт: Optane P4801x емкостью 100 Гбайт стоит более 260 долларов США, а стоимость одного Гбайт превышает 2,6 доллара США, что в 80 раз больше, чем у жестких дисков. По этой причине его часто используют как «ускоритель приложений» или как устройство журнала / журнала.
По этим причинам современные сети хранения данных и серверы часто используют многоуровневый или кешированный подсистема хранения:
многоуровневые системы помещают горячие данные на быстрый уровень (SSD), а холодные данные на медленный уровень (жесткие диски). В таких системах общий объем памяти складывается из быстрого и медленного уровней; однако они статически разделены - если холодные данные внезапно становятся горячими, вам нужно подождать, пока они переместятся на быстрый уровень. Причем, быстрый уровень должен быть не менее долговечным, чем медленный;
Система на основе кеша имеет все данные на медленном жестком диске, дополненная динамическим кешем на SSD, где хранятся горячие данные скопировано (а не переехал); это означает, что такие системы имеют общий объем памяти, равный тому, что предлагает медленный уровень, но с дополнительной гибкостью динамического кэша. В системах на основе кеша быстрый уровень может быть образован недорогими дешевыми твердотельными накопителями.
Какая файловая система лучше всего подходит для SSD на основе флэш-памяти? Наивным ответом может быть «тот, который пишет меньше», но реальность такова, что любая продвинутая технология файловой системы основана на подходе CoW, который, в зависимости от конкретной реализации, может привести к довольно значительному усилению записи (например, ZFS и WALF собираетесь писать больше, чем, скажем, EXT4 или XFS). С чистой точки зрения «без записи», я думаю, что трудно превзойти EXT4 и XFS (особенно при поддержке lvmthin, что позволяет делать быстрые снимки даже в этих классических файловых системах); однако мне очень нравится дополнительная гарантия защиты данных и сжатие lz4, предоставляемое ZFS.
Итак, вам действительно нужно SSD-хранилище для ваших серверных обязанностей? Это зависит:
если вам нужно дешево хранить несколько ТБ данных, лучше всего подойдут жесткие диски (или в лучшем случае дешевые потребительские твердотельные накопители);
если у вас в основном последовательная рабочая нагрузка (например, файловый сервер), вам не нужны SSD;
если ваша рабочая нагрузка богата произвольным вводом-выводом, вы получите большую выгоду от SSD;
Если у вас есть шаблон записи с интенсивным использованием fsync, лучше всего подойдут корпоративные твердотельные накопители (или мощный RAID-контроллер с кэш-памятью обратной записи, защищенной от потери мощности), а обратная сторона - высокая стоимость.
Простой ответ: используйте твердотельные накопители для быстрой обработки данных, например, при создании сервера для выполнения больших и быстрых операций с данными (например, редактирования видео).
Используйте HHD для медленного архивного хранения.
Как правило, жесткие диски менее надежны, чем твердотельные накопители, хотя их стоимость за гигабайт меньше, чем у твердотельных накопителей.
если хранятся конфиденциальные данные, рассмотрите возможность использования SSD, а также жесткого диска для резервного копирования.
Тихо не всегда хорошо. Как будто электромобили на дороге слишком тихие. Шумы при доступе к жесткому диску могут обеспечить безопасность (как я обнаружил взлом рабочего сервера во время просмотра фильма (дополнение: принтеры с переводом строки, связанные с / var / log / messages, сложнее стереть одну запись)
Я смотрю на это так,
Для какой службы я создаю сервер?
Если это инфраструктурная услуга, такая как LDAP / AUTH / Printing и т. Д., Посредством которой вы предлагаете услугу, в основном это проблема памяти, сэкономьте деньги и используйте жесткий диск (7.2k или 10k, возможно, загрузочное устройство raid 1 SSD) и загрузите на него нагрузку памяти .
Убедитесь, что вы используете для файлового сервера контроллер флэш-памяти с батарейным питанием, тогда вы сможете эффективно использовать жесткий диск, поскольку запись выполняется контроллером, а не дисками.
Если это БД службы данных и т. Д., Тогда используйте SSD-рейд для высокой пропускной способности, но контролируйте расходы, используя также жесткий диск, например, для некоторых БД не потребуется высокая скорость записи или просто запуск IOP, чтобы гарантировать использование дорогостоящего хранилища.
В конце концов, дело в деньгах и финансах вашего финансового директора / финансового директора / вице-президента.
Твердотельные накопители явно лучшие, они будут становиться лучше и будут продолжать дешеветь, но сегодня они дороже.
Жесткие диски подходят для последовательных задач хранения:
Жесткие диски также подходят для задач, не чувствительных к задержкам:
Так что для сервера, если у вас есть бюджет, вы можете заполнить его SSD. Кроме того, используя неполный список выше, вы можете сэкономить деньги, смешивая с жесткими дисками.
RAID и Tiering выходят за рамки этого вопроса, я уверен, что есть еще много других вопросов по этому поводу.
Что касается жизненного цикла твердотельных накопителей (я помню, как читал, что Samsung Evo Pro (потребительский продукт) прослужил намного дольше, чем обещал). Отдельные ячейки со временем могут сломаться, но это не приведет к поломке всего диска. Время жизни ячейки связано с количеством записей. на этой камере. Контроллер SSD с течением времени распределяет записи по нескольким ячейкам. Если твердотельный накопитель заполнен на 99%, а оставшееся пространство используется для большого количества операций записи, оставшееся пространство изнашивается быстрее.
Если есть необходимость
тогда HDD надежнее
На SSD перезапись кажется медленнее
Хотя SSD потрясающий!
он произвел революцию в физическом хранении эксабайт / йотабайт в одном небольшом шкафу / стойке
Можно установить большой охладитель азота, а небольшое пространство может служить стойкой для хранения чистого азота
SSD Cache - еще одна удивительная технология более быстрого чтения, которая обеспечивает кэширование на другом уровне