Назад | Перейти на главную страницу

Нужен совет по аппаратному рейду, файловым системам и LVM

Я просмотрел здесь много повторяющихся вопросов за последние несколько часов, но ни один из них не пролил свет на проблемы (уверенность), с которыми я столкнулся в работе, не совсем так.

Итак, у нас есть новая машина Hetzner. 4 x 3 ТБ, 64 ГБ ОЗУ, LSI MegaRAID SAS 9260-4i (также был установлен BBU) и Xeon E3-1275, также есть хорошие сетевые соединения. Это идеально подходит для нашего случая использования.

Эта проблема

Я системный администратор / Linux Guy, 90% вещей меня устраивает, но я редко создаю серверы с нуля, а все остальные наши серверы используют Software Raid (mdadm). Я никогда не настраивал Hardware Raid с нуля с помощью megacli, я сделал это сейчас, но приветствуются любые отзывы, кроме использования ext2, ext3, ext4 и btrfs, у меня нет опыта, чего ожидать от Xfs или ZFS

Что бы я хотел посоветовать

  1. Поскольку Raid5 дает нам больше места, чем Raid10, босс хочет выбрать Raid5. Я не уверен, что Raid10 будет иметь большое значение, поскольку все файлы обслуживаются через Интернет в основном для пользователей из Великобритании (Великобритания -> Германия). Как вы думаете, от Raid5 до Raid 10 будет больше производительности?
    разница?

  2. Мой босс попросил, чтобы мы использовали xfs в качестве файловой системы, я неравнодушен к этому, мы не будем генерировать так много файлов, мы просто ищем файловую систему, которая больше похожа на то, что NAS будет использовать для хранения файлов, пока наше обновление не будет каждые За 2 часа, пока мы рассылаем файлы клиентам, мы также будем записывать изрядное количество данных и использовать довольно много операций ввода-вывода в некоторые моменты дня. Иногда у нас есть разработчики, подключающиеся к серверам (через веб-сайт) для тестирования своего нового выпуска программного обеспечения. На самом деле, для универсального использования я планировал использовать только ext4 или ext3, но если вы думаете, что xfs или даже ZFS были бы лучше, я все равно хотел бы изучить.

    Какие-либо предложения?

  3. LVM, вот что я лично хотел добавить ко всем нашим новым сборкам серверов. Снимки и изменение размера тома так много раз сохраняли наш @ $$ на двух серверах, которые у нас есть, я подумал, что было бы неплохо использовать его как часть стандартной сборки. Я когда-либо использовал это только с файловыми системами ext4, должно ли это иметь значение? Я предполагаю, что нет ?.

Я знаю, что это длинная очень конкретная история, но я был бы очень признателен за любую помощь, которую вы можете оказать, или даже если вы укажете мне правильное направление, я читал об этих предметах на разных форумах, в статьях с понедельника, и я могу а теперь скажи моему боссу, что я недоволен :(

root# lsblk
NAME         MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda            8:0    0  8.2T  0 disk 
├─sda1         8:1    0  512M  0 part /boot
├─sda2         8:2    0  8.2T  0 part 
│ ├─vg0-root 253:0    0  8.1T  0 lvm  /
│ ├─vg0-swap 253:1    0   64G  0 lvm  [SWAP]
│ └─vg0-tmp  253:2    0   20G  0 lvm  /tmp
└─sda3         8:3    0    1M  0 part 

root# megasasctl
a0       LSI MegaRAID SAS 9260-4i encl:1 ldrv:1  batt:FAULT, module missing, pack missing, charge failed
a0d0      8382GiB RAID 5   1x4  optimal
a0e252s0   2794GiB  a0d0  online  
a0e252s1   2794GiB  a0d0  online  
a0e252s2   2794GiB  a0d0  online  
a0e252s3   2794GiB  a0d0  online


root# megacli -LDInfo -Lall -aAll | grep 'Cache Policy:'
Default Cache Policy: WriteBack, ReadAhead, Direct, Write Cache OK if Bad BBU
Current Cache Policy: WriteBack, ReadAhead, Direct, Write Cache OK if Bad BBU

root# df -Th
Filesystem           Type      Size  Used Avail Use% Mounted on
udev                 devtmpfs   16G     0   16G   0% /dev
tmpfs                tmpfs     3.2G  600K  3.2G   1% /run
/dev/mapper/vg0-root xfs       8.2T   11G  8.1T   1% /
tmpfs                tmpfs      16G     0   16G   0% /dev/shm
tmpfs                tmpfs     5.0M     0  5.0M   0% /run/lock
tmpfs                tmpfs      16G     0   16G   0% /sys/fs/cgroup
/dev/mapper/vg0-tmp  reiserfs   20G   33M   20G   1% /tmp
/dev/sda1            ext4      488M   52M  401M  12% /boot
tmpfs                tmpfs     3.2G     0  3.2G   0% /run/user/0

Заранее благодарим Вас за любую возможную помощь.

1 / r5 vs r10 perf: зависит от вашей рабочей нагрузки ввода-вывода (соотношение чтения / записи, случайный / последовательный шаблон доступа, количество рабочих // в, размер io, чтение iops, запись iops).

Из вопроса 2 я понимаю, что ваша рабочая нагрузка далеко не тяжелая, и в основном это связано с чтением iops, что является хорошим моментом при использовании защиты raid5. Так что я думаю, что ваш босс прав с r5 (он босс, он всегда прав)

2 / В настоящее время файловые системы XFS не могут быть сжаты. LVM + ext4 - хороший вариант, который я видел на тысячах узлов, на которых выполняются важные производственные материалы. ZFS также является очень хорошим вариантом, особенно для функций привязки, отправки / получения для аварийного восстановления, но не всегда поддерживается дистрибутивами. Зависит от того, нужна ли вам официальная поддержка. (возможно, canonical предоставляет поддержку zfs в ubuntu, чтобы проверить)

3 / На мой взгляд, LVM определенно необходим (за исключением случаев, когда вы выбираете ZFS) по причинам, которые вы объяснили.

PS1: Я бы порекомендовал уменьшить (означает переустановить из-за файловой системы xfs ...) корневой lv примерно до 100 ГБ и создать еще один lv для данных / приложений. Чтобы избежать переполнения файловой системы приложения, сделайте всю систему заполненной.

PS2: у вас нет проблем с батареей рейд-контроллера?