Я использую рабочую станцию с двумя процессорами Xeon 5690 (12 физических / 24 логических ядра), 192 Гб оперативной памяти (т. Е. С максимальным выходом), 64-битной Windows 7, 5 слотами для карт адаптеров и 1 Тб внутренней памяти, с 5 доступно больше внутренних отсеков.
У меня есть приложение, которое создает файлы данных общим объемом около 88 ТБ. Они пишутся раз в 14 месяцев, а в остальное время приложению нужно только их прочитать; и> 95% операций чтения - это последовательные чтения огромных блоков данных. У меня есть некоторый контроль над размером отдельных файлов, но в идеале они должны быть от 5 до 8 ТБ.
Приложение будет читать только с одного диска за раз, и характер данных таков, что если (когда) диск умирает, я могу восстановить данные на новый диск с ленты.
Хотя было бы неплохо иметь возможность использовать самые быстрые из доступных дисков / контроллеров, в данном случае размер имеет большее значение, чем скорость.
Прочитав много, я склоняюсь к покупке кучи дешевых дисков емкостью 2 ТБ и помещаю их в кучу дешевых корпусов. Все это идет в мой домашний офис, поэтому мне нужно избегать фальшпола / холодильного оборудования.
Мои вопросы:
Подходит ли для этой ситуации дешевый диск / корпус?
Имеет ли смысл использовать RAID, учитывая характер приложения и способ использования данных? Если да, то какой?
Будет ли Usb 3.0 и eSata эффективнее стирать для больших последовательных операций чтения?
Могу ли я подключить к каждому разъему, доступному на рабочей станции, корпус, в который можно установить несколько дисков? Или это по одному контроллеру на диск?
Если у меня может быть несколько дисков на одном контроллере, действительно ли я разделяю полосу пропускания (пропускную способность)? Например, если у меня корпус на 12 отсеков, снизится ли пропускная способность контроллера в 12 раз?
Существуют ли какие-либо ограничения объема / диска / емкости Windows 7, о которых мне следует знать?
Я постараюсь ответить как можно лучше, но некоторые из вопросов, которые вы спрашиваете, больше связаны с личными предпочтениями и особенностями вашего программного обеспечения, чем с твердыми техническими фактами.
Дешевые диски ... гм ... дешевые. Лишь в нескольких ситуациях дешевые диски «лучше», чем диски корпоративного класса. С дешевыми / потребительскими дисками вы не получите такой производительности, надежности или поддержки, которые были бы у корпоративных дисков, и опять же, если ваше приложение выдержит пару сбоев в год, а у вас есть несколько запасных в шкафу, вы можете просто оставайтесь там, когда они выходят из строя, дешевые диски мощь быть лучшим в этой ситуации. Большинство потребительских накопителей не предназначены для работы в режиме 24/7, хотя большинство вполне могут это сделать. Если производительность является фактором, вы можете найти компромисс между производительностью, надежностью и стоимостью, обратите внимание на некоторые серверные диски более низкого уровня.
Это сложный вопрос, поскольку вы говорите, что вам не нужна надежность, что-то вроде RAID5 / 6/10 может не иметь смысла. Если вы хотите обратиться ко всему массиву как к одному диску в Windows, вам понадобится RAID0 (полосатый), однако это имеет свои собственные проблемы, в первую очередь то, что если один диск в вашем массиве выйдет из строя, весь массив будет бесполезен *. Учитывая ваши требования, я мог бы предложить RAID5. Это снизит производительность записи, что может быть проблемой для таких больших файлов данных, однако производительность чтения будет достаточно хорошей. Кроме того, в зависимости от вашего приложения, можно было бы смонтировать каждый диск индивидуально и независимо (чтобы они отображались отдельно в проводнике Windows), ваше приложение должно быть достаточно умным, чтобы записывать правильные данные на правильный диск, но если он диск вышел из строя, вы потеряете только этот диск. Это также будет означать, что вам нужно только иметь roof(total space needed/drive capacity) диски (при условии, что вы решили не иметь запасных дисков для резервирования)
Это больше связано с максимальной скоростью протокола, я не могу вспомнить их из головы, но их должно быть достаточно легко найти. Однако вы, скорее всего, будете ограничены скоростью диска, чем скоростью кабеля.
Это очень похожие вопросы, но, возможно, стоит изучить Подставка для хранения Backblaze (И это связанные вопросы), однако их настройка соединения карт SATA мощь быть тем, что вы ищете, но я не знаю, как внутренняя часть Windows отреагирует на эту настройку
См. Выше
Насколько мне известно, ограничение для Windows 7 составляет примерно 250 ТБ, поэтому у вас не должно возникнуть никаких проблем, но вы должны дважды проверить это.
В качестве связанного вопроса, почему вы используете Windows 7? Такой тип нагрузки лучше подходит для Windows Server.
* Можно восстановить правильные данные на один диск, если у вас достаточно хороших резервных копий, но не «вставьте новый диск, и RAID исправит его»
Подходит ли для этой ситуации дешевый диск / корпус?
Определите дешево. Если вы имеете в виду менее 300 долларов за коробку с 5+ отсеками, то да, все бы нормально.
Имеет ли смысл использовать RAID, учитывая характер приложения и способ использования данных? Если да, то какой?
(A) Да. (B) Это зависит от обстоятельств. Определенные настройки RAID будут быстрее читать, но ужасно отстой при записи; у каждого есть отличительные компромиссы.
Будет ли Usb 3.0 и eSata эффективнее стирать для больших последовательных операций чтения?
Не беспокойтесь о USB 3, используйте eSATA. USB выглядит дешево, звучит дешево, и когда вы его покупаете и собираете в этом масштабе, выполнит дешево. Конкуренция USB убьет любые ваши достижения, особенно если вы выберете RAID-полосу для ваших данных, потому что фактически есть 1 шина и N шпинделей, чтобы перемещаться по этой единственной шине. eSATA как минимум ограничит количество шпинделей, перемещаемых по одному межсоединению; Расширители портов SATA, обеспечивающие соотношение 4: 1, не редкость, что означает намного меньше конфликтов.
Могу ли я подключить к каждому разъему, доступному на рабочей станции, корпус, в который можно установить несколько дисков? Или это по одному контроллеру на диск?
(A) Да. (B) Нет, вы этого не хотите, но это доступно.
Купите карту с 4+ разъемами eSATA и поддерживает расширители SATA на каждом порту. Вставьте карту в каждый слот, всего 4 порта на карту * 5 слотов * 4 порта расширителя на порт карты = 80 портов eSATA. Это должно помочь вам, если вы используете диски емкостью 1,5 ТБ (80 * 1,5 = 120 ТБ) или 2 ТБ (80 * 2 = 160 ТБ).
Конечно, в этой конфигурации будет 4 * 5 = 20 отсеков для дисков. Если удастся найти более плотное решение, оно будет в вашу пользу ...
Если у меня может быть несколько дисков на одном контроллере, действительно ли я разделяю полосу пропускания (пропускную способность)? Например, если у меня корпус на 12 отсеков, снизится ли пропускная способность контроллера в 12 раз?
Для eSATA один ленточный кабель = одна шина, поэтому он учитывается только в том случае, если все диски отключаются по этому одному кабелю одновременно. Если его использует только один, разногласий нет, так что беспокоиться не о чем. В конфигурации RAID, когда все диски наводняют шину, вы проиграли. Используя маршрут с несколькими картами / корпусами / расширителями, вы сводите к минимуму конкуренцию, поскольку каждый физический кабель имеет не более 4 дисков, с которыми приходится бороться.
Существуют ли какие-либо ограничения объема / диска / емкости Windows 7, о которых мне следует знать?
Не знаю, хотя похоже, что кто-то уже ответил на это. (Ответ вроде 250Тб).
-1) Является ли дешевый диск / корпус лучшим решением для этой ситуации?
Если это все, что вы можете себе позволить, то это все, что вам нужно, лично нет, я бы не стал им доверять, поскольку они могут и терпят неудачу чаще, чем вы бы хотели.
0) Имеет ли смысл RAID, учитывая характер приложения и способ использования данных? Если да, то какой?
Да. Я думаю, вы реалистично смотрите на raid 5 + 1 или raid 6. Учитывая скорость, с которой диски 2 ТБ выходят из строя, вам в любом случае понадобится больше, чем raid 5. Имейте в виду, что время восстановления будет измеряться в днях, когда диск выходит из строя, и производительность в это время будет ужасной.
1) Будет ли Usb 3.0 и eSata для больших последовательных операций промывки с точки зрения производительности?
Пожалуй, сложно сказать. USB 3.0 работает довольно быстро, но я не пробовал использовать его в режиме рейда. Однако USB 2.0 с 7 USB-корпусами был довольно плохим, но я не знаю, было ли это в природе USB 2.0 или в том, что все это зависало от USB.
3) Если у меня может быть несколько дисков на одном контроллере, действительно ли я разделяю полосу пропускания (пропускную способность)? Например, если у меня корпус на 12 отсеков, снизится ли пропускная способность контроллера в 12 раз?
Если я вас правильно понимаю (и вы все еще имеете в виду usb), тогда да, usb-концентратор разделяет свою полосу пропускания на каждый порт, и если у вас есть несколько дисков с каждого порта, вы получите меньшую скорость на каждый диск, хотя только если usb3 .0 / количество приводов меньше максимальной скорости одного привода.