Назад | Перейти на главную страницу

Есть ли ограничение на объем хранилища, который может иметь одна физическая машина?

Я читал о hadoop и застрял в этой строке: «Когда набор данных превышает емкость хранения одной физической машины, возникает необходимость разделить его между несколькими отдельными машинами».

Так есть ли ограничение на объем памяти, который может иметь одна физическая машина? Я думаю, что этот вопрос относится к «Компьютерной архитектуре», но я не читал эту тему, и мне любопытно узнать, почему существует ограничение. Почему 1 физическая машина не может иметь 1 петабайт данных?

Объем хранилища, которое вы можете напрямую подключить к серверу, на практике обычно ограничивается только размером вашего кошелька.

Обычно, когда вам нужен очень большой объем хранилища для одного сервера, большинство организаций, как правило, выбирают хранилище, подключенное к SAN / сети с выделенными массивами хранения и контроллерами, а не хранилище с прямым подключением. Их можно увеличить до 1 петабайта.

Когда вы рассматриваете хранилище с прямым подключением, технические ограничения для одного сервера ограничиваются:

  • количество разъемов для дисков (то есть портов SAS / SATA) на материнской плате
  • количество дополнительных контроллеров хранилища, которые вы можете разместить на материнской плате (разъемы PCIe), и количество устройств, которые они могут адресовать каждому (высокопроизводительные контроллеры SAS могут адресовать до 256 устройств каждый)
  • количество внутренних дисковых отсеков, которые вы можете заполнить.
  • количество внешних лотков для дисков, которые вы можете прикрепить и заполнить
  • размеры дисководов

(Конечно, после определенного момента вы не получите дополнительной производительности, добавив больше емкости, поэтому существует определенная точка отсечения рентабельности, когда масштабирование уже не так эффективно, как горизонтальное масштабирование)

Практически все существующие протоколы хранения могут предложить практически неограниченное пространство для хранения. Физический размер может быстро превысить емкость корпуса отдельного сервера, но вы можете расширить физическую установку до дополнительных полок или даже целых стоек. Волшебное слово - SAN (сеть хранения данных).

  • SAS может использовать расширители для доступа к 16 тысячам физических дисков (возможно, больше) или логическим дискам (см. LUN ниже).
  • Fibre Channel может использовать коммутаторы для доступа к 16 миллионам физических дисков или LUN; каждый LUN может состоять из большого количества дисков.
  • iSCSI практически поддерживает 16 миллионов целей (частная сеть 10.0.0.0/8), каждая из которых состоит из 256 LUN, каждая из которых, в свою очередь, состоит из большого количества дисков. Вы также можете использовать весь диапазон адресов IPv4 для 4 миллиардов целей или совершенно нелепых чисел, используя IPv6 (340 ундециллионов или 3,4 * 1038).
  • Даже SATA можно использовать с мультипликатором портов для 15 дисков на порт и вы можете добавить контроллеры, чтобы получить много портов.

Купить и подключить 1 петабайт хранилища - вопрос бюджета. Или 10 петабайт. Или 100. Или ...

Однако обычно вы не подключаете такой объем хранилища к одному узлу. Из-за проблем с доступностью и масштабируемостью большие объемы хранения обычно распределяются между большим количеством узлов или виртуальных машин. Все современные корпоративные технологии хранения данных допускают совместное использование, и различие между хранилищами с прямым подключением и сетевым хранилищем является скорее реализацией, чем технологией.