У меня есть зашифрованный RAID6, настроенный на Centos 5.5. Когда я передаю большой файл размером 10 ГБ из рейда на свой компьютер, он приостанавливается на уровне около 4-5 ГБ и снова на 9 ГБ. Скорость передачи данных снижается с 25 МБ / с до <1 МБ / с примерно на 30-60 секунд.
Потоковое HD-видео будет прерываться и / или зависать каждые несколько минут.
Трансфер осуществляется через самбу. То же самое происходит с rsync (с использованием демона rsync), но скорость передачи немного выше.
Может ли кто-нибудь сказать мне, как отследить проблему? Я не знаю, как определить узкое место.
Справочная информация:
Использование ЦП составляет около 45% на одном ядре при передаче данных из рейда.
Как я создавал рейд:
Стек рейда следующий:
диск -> RAID -> dm-crypt -> LVM -> fs
У меня диски 7х2ТБ. У каждого есть один раздел 'fd' (raid) (/ dev / sdb -> / dev / sdh), примечание / dev / sda - это SSD, содержащий ОС
Вот как я это создал
Создайте рейд-устройство
mdadm --create /dev/md0 --level=6 --raid-devices=7 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1
открытый зашифрованный массив
cryptsetup --key-file /mnt/usbstick/img_0768.jpg luksOpen /dev/md0 md0encrypted
Создать LVM
pvcreate /dev/mapper/md0encrypted
Создайте группу томов - используйте 256M, что позволяет около 16,7TB. Должна быть степень двойки
vgcreate -s 256M VolGroupRaid /dev/mapper/md0encrypted
Создайте объем. (получил общий PE 37260 из vgdisplay -v)
lvcreate -l 37260 VolGroupRaid --name raidvol
Отформатируйте его, используя
mkfs.ext3 /dev/VolGroupRaid/raidvol
Установите это
mount /dev/VolGroupRaid/raidvol /mnt/raid
Системная информация
lspci
00:00.0 Host bridge: Intel Corporation 82P965/G965 Memory Controller Hub (rev 02)
00:01.0 PCI bridge: Intel Corporation 82P965/G965 PCI Express Root Port (rev 02)
00:1a.0 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #4 (rev 02)
00:1a.1 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #5 (rev 02)
00:1a.7 USB Controller: Intel Corporation 82801H (ICH8 Family) USB2 EHCI Controller #2 (rev 02)
00:1c.0 PCI bridge: Intel Corporation 82801H (ICH8 Family) PCI Express Port 1 (rev 02)
00:1c.4 PCI bridge: Intel Corporation 82801H (ICH8 Family) PCI Express Port 5 (rev 02)
00:1c.5 PCI bridge: Intel Corporation 82801H (ICH8 Family) PCI Express Port 6 (rev 02)
00:1d.0 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #1 (rev 02)
00:1d.1 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #2 (rev 02)
00:1d.2 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #3 (rev 02)
00:1d.7 USB Controller: Intel Corporation 82801H (ICH8 Family) USB2 EHCI Controller #1 (rev 02)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev f2)
00:1f.0 ISA bridge: Intel Corporation 82801HB/HR (ICH8/R) LPC Interface Controller (rev 02)
00:1f.2 SATA controller: Intel Corporation 82801HR/HO/HH (ICH8R/DO/DH) 6 port SATA AHCI Controller (rev 02)
00:1f.3 SMBus: Intel Corporation 82801H (ICH8 Family) SMBus Controller (rev 02)
01:00.0 VGA compatible controller: nVidia Corporation G84 [GeForce 8600 GT] (rev a1)
03:00.0 Ethernet controller: Marvell Technology Group Ltd. 88E8053 PCI-E Gigabit Ethernet Controller (rev 22)
04:00.0 SATA controller: JMicron Technology Corp. JMB362/JMB363 Serial ATA Controller (rev 02)
04:00.1 IDE interface: JMicron Technology Corp. JMB362/JMB363 Serial ATA Controller (rev 02)
dmesg | grep -i raid
device-mapper: dm-raid45: initialized v0.2594l
md: Autodetecting RAID arrays.
raid5: automatically using best checksumming function: generic_sse
raid5: using function: generic_sse (6816.000 MB/sec)
raid6: int64x1 1558 MB/s
raid6: int64x2 1937 MB/s
raid6: int64x4 1765 MB/s
raid6: int64x8 1468 MB/s
raid6: sse2x1 3308 MB/s
raid6: sse2x2 4863 MB/s
raid6: sse2x4 5582 MB/s
raid6: using algorithm sse2x4 (5582 MB/s)
md: raid6 personality registered for level 6
md: raid5 personality registered for level 5
md: raid4 personality registered for level 4
raid5: device sdh1 operational as raid disk 6
raid5: device sdg1 operational as raid disk 5
raid5: device sdf1 operational as raid disk 4
raid5: device sde1 operational as raid disk 3
raid5: device sdd1 operational as raid disk 2
raid5: device sdc1 operational as raid disk 1
raid5: device sdb1 operational as raid disk 0
raid5: allocated 7412kB for md0
raid5: raid level 6 set md0 active with 7 out of 7 devices, algorithm 2
RAID5 conf printout:
cat / proc / mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sdh1[6] sdg1[5] sdf1[4] sde1[3] sdd1[2] sdc1[1] sdb1[0]
9767559680 blocks level 6, 64k chunk, algorithm 2 [7/7] [UUUUUUU]
unused devices: <none>
Способ диагностики - удаление / замена компонентов. Ваша полная настройка:
centos(disk-->RAID-->dm-crypt-->LVM-->fs)-->network->mycomputer
Попробуйте другое направление:
centos(disk-->RAID-->dm-crypt-->LVM-->fs)-->network->anothercomputer
Устранение сети:
centos(disk-->RAID-->dm-crypt-->LVM-->fs)-->centos
Удалите все стеки, чтобы убедиться, что это сеть:
centos(disk(one disk)-->fs)-->network->mycomputer
Если это не просто сеть, начните добавлять компоненты:
centos(disk-->RAID-->fs)-->network->mycomputer
centos(disk-->RAID-->LVM-->fs)-->network->mycomputer
Это примерно все комбинации, которые я могу придумать.
Даже в лучшем случае скорость передачи кажется довольно низкой, чтение большого файла с 7-дискового RAID 6 должно легко переполнить канал GigE, поэтому даже с накладными расходами SAMBA вы должны видеть намного лучше, чем 25 мегабайт в секунду.
Накладные расходы на шифрование не должны сдерживать вас в качестве общего принципа, шифрование \ дешифрование (с помощью AES) 100Meg / sec и более вполне в пределах возможностей одного ядра на современном процессоре, однако это сообщение о dm-crypt указывает на то, что это может быть узкое место, которое может быть вызвано вашей настройкой, и это относительно недавно, поэтому я подозреваю, что это все еще проблема.
Когда вы говорите, что переносите на свой компьютер - какие там спецификации - какая ОС, сколько ОЗУ и какова скорость подсистемы накопителя, на которую вы записываете, то есть может ли она поддерживать скорость 25 МБ / с?