Я думаю о создании NAS-устройства с дисками емкостью 24 1 ТБ, но я не уверен, какая конфигурация дисков лучше всего. Я собираюсь использовать контроллер areca ARC-1280ML-2G и вешать на него все 24 диска.
Я бы хотел, чтобы все это было смонтировано как один том из-за типа данных, которые мы храним на нем. Одна безумная идея, которая у нас возникла, заключалась в том, чтобы сконфигурировать 6 томов RAID 5 с 4 дисками, а затем сделать программный RAID 5 над этими 6 томами. Это означало бы, что любой том может умереть из-за нас, и мы все равно не потеряем данные.
Я должен отметить, что это проект R&D, у нас есть готовящееся приложение, в котором нам потребуются десятки терабайт хранилища, чтобы быть быстрым и высокодоступным. Но на начальном этапе исследований и разработок мы можем пойти на некоторый риск.
Какое лучшее решение для такого типа конфигурации? С 24 дисками по 1 ТБ вполне вероятно, что одновременно выйдет из строя несколько дисков (или в течение времени, необходимого для восстановления тома после первого сбоя), поэтому у меня возникают проблемы с поиском хорошего решения.
Это и есть моя повседневная работа ... создание серверов хранения Linux.
Уровень RAID для того, что вы хотите, уже существует; это называется RAID 10.
Среднее время безотказной работы для приводов профессионального и потребительского уровня за последние годы увеличилось на порядок, а количество неисправимых ошибок осталось относительно постоянным. Эта скорость оценивается в 10 ^ 14 бит, поэтому один бит на 12 терабайт чтения для потребительских дисков SATA, источник.
Таким образом, при каждом сканировании ваших проходов вашего диска 24 ТБ статистически вы столкнетесь как минимум с 2 однобитными ошибками. Каждая из этих ошибок вызывает перестройку RAID5, и, что еще хуже, во время перестройки вторая ошибка вызовет двойную ошибку.
вау, RAID5 поверх RAID5? Хотите обсудить проблемы с производительностью? У тебя будет тонны. На хосте, с которого вы вешаете их, будут котята, вычисляющие четность, записывающие эту четность на 3 диска, а затем вычисляющие четность ТАКОЙ четности и записывающие ее на 4-й диск этого набора. ВОТ ЭТО ДА!
Поговорим о RAID10. По сути, это RAID 1, но вы делите свои диски пополам и зеркалируете это. Это отказоустойчиво, так как вы можете потерять 2 диска и все равно все будет в порядке, плюс производительность выдающаяся.
Если вам не нужно безумно много места, но у вас есть массив на 24 ТБ, и вам нечего делать, но он, безусловно, должен работать, тогда вы можете подумать о RAID60. По сути, это RAID6 с использованием зеркальных наборов дисков. Вы потеряете около половины своих дисков, и производительность будет плохой, но вам будет почти гарантировано, что данные будут там.
На самом деле, я бы выбрал RAID10. Он хорошо работает и отлично работает. Я разделяю мнение Эвана о том, что вам, вероятно, не следует создавать гигантские RAID-массивы из такого количества дисков, потому что, как он говорит, такие вещи, как fsck и chkdsk, будут длиться вечно, и, что более важно, на мой взгляд, потому что статистическая вероятность ошибки чтения увеличивается вместе с размером отдельного диска. Я бы рекомендовал 7-10 дисков в комплекте. Вы можете создать 3 тома RAID очень приличного размера с таким количеством шпинделей.
Что бы вы ни выбрали, не забудьте оставить пару дисков в «горячем» резерве, чтобы вы могли немедленно начать восстановление, а не заставлять массив ждать, пока вы их замените. Как только один диск умирает, часы начинают отсчитывать, пока не закончится другой.
Почему не RAID 1 + 0? Все обрабатывается на уровне контроллера ...
Я знаю, что вы сказали «НИОКР», но вы также сказали «высокая доступность». Я бы поставил под сомнение «экономию» самостоятельного решения по сравнению с покупкой готового оборудования SAN для этого. Когда что-то пойдет не так с вашим DIY-решением, вы окажетесь в незавидном положении: вам не к кому обратиться за помощью. Сколько стоит час простоя? Вы можете довольно быстро съесть стоимость некоторого оборудования SAN среднего уровня за счет простоя, игнорируя расходы, связанные с прямой потерей данных.
Независимо от того, что вы делаете с базовым диском, я бы не стал создавать такую большую файловую систему.
Вероятно повреждение файловой системы (проблема с RAID-контроллером, ошибки ОС и т. Д.). В таком большом томе проверка файловой системы займет вечность. Я настоятельно рекомендую использовать несколько томов, которые можно логически объединить в единую файловую систему (различными способами - вы не упомянули ОС, поэтому я не могу дать вам конкретных идей). Если у вас есть какие-то повреждения файловой системы, вы потеряете часть логического тома, но все равно будете работать.
В качестве примера: в мире Windows запуск CHKDSK на томе NTFS 20 ТБ, заполненном файлами, будет МЕДЛЕННЫЙ. В такой среде я бы создал несколько меньших томов NTFS и логически объединил бы их в одно пространство имен с помощью DFS.
wazoox, ответы хороши, у меня нет представителя, чтобы дать ему больше плюсов, но я бы добавил следующее.
RAID 6 или как минимум 2 живых диска четности на 10 дисков, максимум 16, если у вас может занять около дня, когда на производительность повлияет восстановление вашего рейда. Если вы не можете смириться с деградацией, тогда вам понадобятся зеркальные полосы.
Если вы идете по пути Linux, я бы использовал либо аппаратную рейд-карту (с резервным аккумулятором), либо рейд-контроллер в корпусе диска. Я согласен с тем, что xfs является предпочтительной файловой системой в Linux, однако имейте в виду, что файловые системы размером около 50 ТБ на xfs занимают более 16 ГБ ОЗУ, если вам нужно запустить xfs_check.
Я бы серьезно подумал о хорошем NAS-устройстве, таком как NetApp, так как они намного меньше работают в долгосрочной перспективе, это зависит от того, сколько ваше время / время администратора хранилища стоит для компании.
Заставить nfs / samba работать хорошо - это своего рода темное искусство. Собираетесь ли вы использовать 10 ГБ эфира или просто агрегаты по 1 ГБ / сек? (Не покупайте карты Broadcomm, особенно 10 ГБ).
LVM2 не составляет труда, но не используйте моментальную съемку, так как это не быстро.
Помните, что резервное копирование этого займет некоторое время.
Проверьте, как система может выйти из строя, прежде чем она будет запущена в производство, и запишите это, где вы и ваши коллеги сможете найти документы, когда все пойдет не так.
Это зависит от вашего соотношения чтения / записи. Мы используем много внешних 25-дисковых корпусов SAS HP MSA70 и всегда создаем их как единый массив RAID6, поскольку соотношение чтения и записи составляет 99%: 1%, поэтому нам все равно, что R6 будет самым медленным при записи ( все еще довольно быстро, просто не так хорошо по сравнению с другими). Таким образом, у нас есть 23 диска с данными, доступными нам, с очень хорошими, как и в ОЧЕНЬ хорошими, преимуществами произвольного чтения и общей пропускной способности чтения, и мы можем пережить два сбоя диска.
В качестве приблизительного ориентира массив RAID5 не должен содержать более 14 дисков в одном массиве, в то время как RAID6 должен иметь до 54 дисков или около того - очевидно, чем больше массив, тем больше разница между производительностью чтения и записи и потребуется более медленное восстановление, но это МОЖЕТ быть хорошим компромиссом.
Я бы для начала добавил два резервных диска.
RAID 5 или 6 подходит для произвольного чтения или больших последовательных операций чтения и записи. Если вы собираетесь получить много небольших записей, используйте RAID 10, так как RAID 5+ требует 4-кратного попадания на небольшие записи.
Если вы собираетесь включить кеш записи, не забудьте подкрепить его батареей.