Назад | Перейти на главную страницу

Высокоскоростной накопитель (более 8 ГБ / с)

Ищете решение на базе Windows для создания высокопроизводительного массива хранения 8 ГБ / с.

Либо путем чередования десятков твердотельных накопителей, либо путем создания нескольких массивов RAID и каким-либо образом их объединения. Уловка, похоже, заключается в получении 8 ГБ / с с одного тома… а не в нескольких томах, каждый из которых, например, со скоростью 1,5 ГБ / с.

РЕДАКТИРОВАТЬ:

Давайте предположим, что прочитали, и давайте предположим сценарий реального мира (а не только теоретический максимум).

Это просто мой вопрос!

На самом деле создать единый том, теоретически способный обеспечить такую ​​производительность на одном сервере, не так сложно - вам понадобится несколько флэш-накопителей на базе PCIe, таких как те, которые я использую сам FusionIO, связанных вместе с помощью LVM или аналогичных (ZFS например). Это, конечно, основано на модели с нулевым кэшированием - если вы можете делать все из памяти, жизнь внезапно становится проще, но вы не упоминаете объемы, поэтому давайте предположим худшее.

Это дает вам реальный объем и работает, но проблема не только в этом, а в сквозной производительности.

Как вы планируете передавать эти данные? это ~ 80 Гбит / с, поэтому вам понадобится хотя бы одна сетевая карта 100 Гбит / с на выделенной шине PCIe 3.0 x16, чтобы очистить этот объем, плюс, конечно, то же самое на шине / ах хранения. Теперь это МОЖЕТ быть достигнуто с использованием правильного набора микросхем, но вы не говорите здесь о серверах с низкими характеристиками / стоимостью, я использую HP DL980 для такого рода вещей, и они недешевы.

Затем вы сталкиваетесь с самой большой проблемой, прерываниями - есть множество довольно умных способов справиться с создаваемым вами штормом прерываний, но даже если вам удастся перекомпилировать свои ядра (Windows, даже 2012 год, будет бороться со всем этим) вы действительно увеличиваете фактическую стабильную производительность этих серверов сегодня - вы так много требуете практически от каждой части цепочки и от самой слабой части, если она самая сложная, - от ОС. Вы также должны понимать свой профиль записи, поскольку он действительно будет мешать вашей производительности чтения, даже если он хоть отдаленно тяжелый.

Если вы сообщите нам, чего вы на самом деле пытаетесь достичь здесь (так как это очень пахнет домашним заданием, если честно), тогда у нас могут быть более творческие способы помочь, но я бы сказал, что это ~ 100 тысяч долларов / ~ 2 -месячный проект, чтобы начать работу. Это можно сделать (у меня множество серверов ежедневно работают вдвое меньше), но вы должны знать, что это не дешевый или быстрый проект.

Здесь нужно учесть несколько вещей:

  • Емкость - такое быстрое хранилище будет стоить дорого, чтобы иметь значительный объем емкости
  • Локальное хранилище - если это локальное хранилище, скорость PCIe 2.0 составляет около 500 МБ / с на полосу, что означает, что вам понадобится что-то, что взаимодействует как минимум со слотом PCIe 2.0 x16 или PCI3 3.0 x8, поскольку 3.0 имеет вдвое большую пропускную способность. В io-drive восьмеричный Strats, чтобы приблизиться, но это всего лишь 6,7 ГБ / с при чтении и 3,9 ГБ / с для записи для модели 10,24 ТБ, что очень дорого. Вам придется разделить их вместе.
  • Внешнее хранилище. Если вы говорите о нелокальном хранилище, то с точки зрения хранилища максимальная общая скорость для одного массива будет всего 16 ГБ / с (2 ГБ / с), поэтому вам нужно как-то его мультиплексировать. Я работал с оптоволокном 20 Гбит / с, но это все равно не приведет вас туда, куда вы хотите. По сути, это означает, что вы просто получаете много волокон, несколько внешних отсеков для хранения и разметаете их.
  • Чтение и запись - это сильно повлияет на производительность любого решения.

Как вопрос покупки, это, вероятно, в любом случае не по теме; Как видите, существует множество переменных, которые зависят от вашей конкретной ситуации.

Во-первых, вы не упоминаете, является ли это пропускной способностью для чтения или записи.

Для таких скоростей вы, вероятно, смотрите на несколько карт SSD на основе PCIe и объединяете их в один том. Например, три Fusion IO ioDrive2 дадут вам эту пропускную способность плюс немного больше.

Использование традиционных карт SAS RAID выполнимо, но непросто. Это 6 Гбит / с на канал, и вам понадобится 11 каналов, чтобы достичь нужной скорости. Существуют карты с 4 портами, поэтому вам понадобится три и достаточно твердотельных накопителей, чтобы обеспечить их питание. Однако вам придется использовать сочетание оборудования и чередования ОС для создания тома.

А в чем проблема? За исключением того, что вы пытаетесь прочитать сетевые данные размером 80 гигабит.

  • Используйте SAS - несколько контроллеров, внешние шкафы.
  • Добавьте к этому пулы хранения (Server 2012)

Законченный.

Проблема заключается в том, чтобы что-то сделать с этими данными. Это делает упражнение довольно спорным.