Назад | Перейти на главную страницу

Архитектура Ceph для небольшого кластера HPC

Я хочу создать кластер хранения Ceph для использования в высокопроизводительных вычислениях. (На базе CentOS 7) На данный момент у меня есть корпоративный массив SAS RAID с 3 полками на 12 дисков по 4 ТБ (всего 36). Теперь он настроен как установка RAID6 по умолчанию. И производительность очень плохая. Также я не могу масштабировать систему. Нет возможности например переключиться на диски 6 ТБ. Итак, что я хочу сделать.

  1. Переключитесь с RAID6 на JBOD.
  2. Подключите каждые 12 дисков к 3 различным портам контроллера.
  3. Подключите 3 сервера к корпусу с помощью карты SAS HBA.
  4. Установите один бассейн цефалона. Тип: CephFS. 512 стр. Стирающее кодирование. Failure-domain = host. Bluestore.
  5. Смонтируйте пул CephFS на вычислительных узлах с IPoIB.

Основные вопросы касаются 4-го шага.

  1. Как выбрать кодировку стирания k + m чисел? 3 + 3 4 + 2 8 + 3 8 + 4 10 + 4? На самом деле я не могу полностью понять, как он будет справляться с различными сбоями. Поскольку я не понимаю, что моя система должна обрабатывать 1 хост не работает + 1-2 сбоя OSD. Возможна ли конфигурация с 3 хостами? Если нет, что произойдет, если OSD выйдет из строя во время процесса восстановления после отказа хоста? Что произойдет, если OSD выйдет из строя, когда 1 хост будет отключен для обслуживания (лечение не начато)?
  2. Можно ли добавить твердотельные накопители WAL / DB для Bluestore позже, как в файловом магазине?
  3. Пострадают ли вызовы HPC MPI от трафика IPoIB на том же интерфейсе IB и коммутаторе?

И общий вопрос. Будет ли вообще работать, или я что-то глобальное упустил?

Производительность

Кодирование со стиранием требует интенсивной работы процессора. Если вам нужна производительность, используйте 3 копии.

Больше дисков - выше производительность. JBOD - отличный вариант.

Корпоративные твердотельные накопители настоятельно рекомендуются. Вы можете перенастроить, добавить, удалить OSD позже.

Доступность и защита данных

Чем больше у вас узлов, тем устойчивее хранилище к потере данных.

Для кода стирания и 3 хостов минимум к = 3 м = 2. При выходе из строя хоста вы потеряете 1 часть данных, а для восстановления потребуется одна часть с контролем четности. Итак, вам понадобятся как минимум две части четности на случай, если одна будет на отказавшем хосте.

Было бы лучше, если бы у вас было больше узлов, чем к + м. Когда 1 хост выходит из строя, вы хотите, чтобы все стираемые части оставались на остальных хостах.

Для защиты с 3 копиями рекомендуется минимум 4 хоста. Когда одна выходит из строя, у вас остается место для трех копий.

Для производства вам понадобится больше серверов.