Дополнительные варианты хранения для узлов Hadoop HDFS

У нас есть небольшой производственный кластер Hadoop дистрибутива Cloudera (14 узлов, но они растут). По мере того, как мы расширяли использование этого кластера, мы обнаружили, что дисковое хранилище является нашим самым большим препятствием и требованием. Использование ОЗУ и ЦП при наших рабочих нагрузках минимально, а наши разработчики уже значительно сократили объем хранимых данных.

Аппаратное обеспечение, которое мы используем, относительно низкое, поэтому мы максимально увеличили количество дисков, которые мы можем установить в каждом узле. В настоящее время у нас достаточно места, но у нас есть новый источник данных, который ускорит рост данных, и мы хотели бы просто добавить хранилище в систему.

В системах есть только один слот для карт расширения, в котором в настоящее время установлены внутренние диски SAS HBA. Я считаю, что мы можем заменить это HBA-адаптером, который имеет внутренние и внешние порты SAS, что позволит нам обслуживать внутренние диски и подключаться к внешним. Я нахожусь в пределах своего понимания и возможностей Google, так как не могу найти оптимальную настройку для хранения внешних жестких дисков и предоставления каждому серверу прямого доступа к дискам со скоростью 6 Гбит / с по SAS.

Hadoop HDFS предпочитает, чтобы между ним и жестким диском не было никаких других технологий, и я бы хотел, чтобы это было так. Если бы я использовал SATA, я бы взял внешний корпус для монтажа в стойку, который напрямую подключает внешние порты eSATA к дискам внутри без расширителей дисков или контроллеров рейда. Я не могу найти аналог в оборудовании SAS.

Я пытаюсь найти предложения для DAS SAS, желательно с одним шасси, которое может обслуживать несколько серверов и не делает ничего сверх этого. Если это не так, какие у меня есть варианты для обеспечения эквивалентного хранилища и скорости для дисков SAS, которые мы используем сейчас?

Джаред