Назад | Перейти на главную страницу

Массив на серверах, которые получают несколько сотен ГБ данных в день

Надеюсь, это простой вопрос. Прямо сейчас мы развертываем серверы, которые будут служить хранилищами данных. Я знаю, что с RAID 5 лучше всего использовать 6 дисков на RAID 5. Однако мы планируем использовать RAID 10 (как для производительности, так и для безопасности). Всего у нас 14 дисков (на самом деле 16, но два используются под ОС). Имея в виду, что производительность очень важна, что лучше - сделать несколько RAID 1? Сделать один большой RAID 10? Нашим первоначальным планом был один большой RAID 10, но я хочу узнать, есть ли у кого-нибудь мнения, о которых я не думал.

пожалуйста, обратите внимание: Эта система была разработана для использования RAID 1 + 0, поэтому потеря половины необработанной емкости хранилища не является проблемой. Извините, я не упомянул об этом изначально. Проблема больше в том, хотим ли мы использовать один большой RAID 1 + 0, содержащий все 14 дисков, или несколько меньших RAID 1 + 0, а затем разделить их с помощью LVM. Я знаю, что лучший способ для более высоких уровней RAID - никогда не использовать более 6 дисков в массиве.

Взгляни на это обсуждение подробное описание схемы дисков для настройки RAID 1 + 0 на сервере HP ProLiant:

6 Дисковый Raid 1 + 0

Контроллер Smart Array, настроенный в RAID 1 + 0, представляет собой полосу по зеркальным парам. В зависимости от того, как вы разместили свои отсеки для дисков и какой контроллер вы используете, диски, скорее всего, будут сопряжены по каналам контроллера.

Например. в установке с 4 дисками:

     Logical Drive: 1
     Size: 558.7 GB
     Fault Tolerance: RAID 1+0

     Logical Drive Label: AB3E858350123456789ABCDE6EEF
     Mirror Group 0:
        physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SAS, 300 GB, OK)
        physicaldrive 1I:1:2 (port 1I:box 1:bay 2, SAS, 300 GB, OK)
     Mirror Group 1:
        physicaldrive 1I:1:3 (port 1I:box 1:bay 3, SAS, 300 GB, OK)
        physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SAS, 300 GB, OK)

физический диск 1I: 1: 1 пары к физический диск 1I: 1: 3
физический диск 1I: 1: 2 пары к физический диск 1I: 1: 4

При таком количестве дисков нет недостатка в том, чтобы оставить их на одном логическом диске. Вы получите больше преимуществ (MOAR) шпиндели для последовательных рабочих нагрузок и расширенных возможностей произвольных рабочих нагрузок. Я бы порекомендовал настроить кеш контроллера на смещение в сторону записи (меньшая задержка) и, возможно, сделать некоторые варианты на уровне ОС в отношении выбор файловой системы (XFS!), Лифты ввода / вывода (крайний срок) и блочная настройка устройства.

В каком дистрибутиве операционной системы это будет работать?

Мэтью - я БОЛЬШОЙ Splunk client, мы используем исключительно R10 - будь то диски SAS для наших низкоуровневых боксов, корпоративные твердотельные накопители для систем среднего размера или карты FusionIO для наших самых загруженных машин. Вы были умны и рассчитаны на R10, доверяйте своим инстинктам, вы на правильном пути.

Мы просто создаем один большой PV / VG / LV для всех / splunkdata, кстати, оставляя / opt / splunk на загрузочных дисках.

400 ГБ / день - это ~ 270 МБ / мин.

RAID5 может работать. RAID 50, вероятно, лучший с точки зрения эффективности хранения и производительности записи. RAID 10 обеспечит лучшую производительность записи, но за счет эффективности хранения 50%. Меня беспокоят тяжелые записи плюс случайное чтение ... это снизит общую производительность.

Тип используемого диска будет иметь решающее значение. Если вы можете использовать диски 10k или 15k, производительность значительно увеличится, но, конечно, эти диски более дорогие и имеют меньшую емкость, чем корпоративные диски SATA / SAS 7.2k, которые в настоящее время достигают 3 + ТБ.

В конечном итоге никто не может сказать вам, что лучше всего подходит для вашего приложения, поэтому вам нужно проверить это самостоятельно. Я рекомендую карту RAID с большим кешем записи (512 МБ или больше), а также кешем чтения приличного размера. Затем, тест различные комбинации RAID (я бы предложил RAID5-6 и RAID5-10, а также RAID50 и RAID10). Посмотрите, что работает лучше всего. Настройте параметры карты RAID. Вы найдете оптимальную конфигурацию.

«Проблема больше в том, хотим ли мы использовать один большой Raid 1 + 0, содержащий все 14 дисков, или несколько меньших raid 1 + 0, а затем распределить их по ним с помощью LVM».

Хорошо. Если вы думаете об этом, вы в основном спрашиваете нас, должны ли вы позволить своему RAID-контроллеру выполнять RAID0-часть RAID10, или вы должны позволить LVM сделать это.

Думаю, если у вас худший в мире рейд-контроллер, LVM, вероятно, мог бы превзойти его ... в противном случае, я думаю, вы можете позволить рейдовому контроллеру делать всю работу.

RAID-10 сократит доступное пространство вдвое. Вместо этого я бы порекомендовал RAID-50, для которого требуется как минимум 6 дисков; это даст вам большую отказоустойчивость и производительность.

Вы захотите проверить и протестировать несколько RAID-карт, поскольку все они не работают одинаково. Если вы этого еще не знаете, используйте корпоративные диски SATA, а не настольные и не «зеленые» диски.