Я установил новый сервер с зашифрованным LUKS RAID5. На бывшем сервере узким местом определенно был ЦП, так как это было одноядерное семилетнее старое, и нагрузка выросла до 100%.
Теперь все по-другому. У меня по-прежнему низкая производительность записи, но я не вижу узкого места.
В течение
root@home-le:/data# dd if=/dev/zero of=benchmark bs=100MB count=100
100+0 Datensätze aus
10000000000 Bytes (10 GB) kopiert, 775,726 s, 12,9 MB/s
я получил
root@home-le:/data# iostat
Linux 2.6.38-11-server (home-le) 23.09.2011 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0,22 3,58 10,02 13,56 0,00 72,61
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 66,63 795,46 8876,84 105325279 1175367302
sdc 244,12 8203,55 1523,39 1086218095 201709949
sdf 253,41 8219,63 1519,15 1088347371 201148053
sde 242,42 8172,09 1495,00 1082051932 197950373
md0 933,49 36,80 3937,60 4872631 521371476
dm-4 933,51 36,79 3938,19 4871328 521449348
Массив синхронизирован
md0 : active raid5 sda1[5] sdc1[0] sde1[2] sdf1[4]
2768292864 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]
и состоит из 4 разделов по 950 ГБ из 4 разделов WD Caviar Green по 1 ТБ. (Остальные разделы на дисках не имеют значительной нагрузки.) FS - ext4 с размером блока 4096.
Если вы не знаете об узком месте, я также был бы признателен за ваши результаты на сопоставимых массивах.
RAID-5, как правило, имеет довольно низкую производительность записи, но я признаю, что менее 13 МБ / с не соответствует норме.
Можете ли вы попробовать протестировать только один диск? Я слышал ужасные истории о сериале WD Caviar Green на протяжении многих лет. Не проверял, улучшилось ли что-то, но пару лет назад дискуссии велись о количестве оборотов в минуту приводов Caviar Green. Некоторые подозревали, что это было около 5400 об / мин, а не 7200 об / мин, и это сильно замедлило движение. У Western Digital, конечно же, были свои объяснения ситуации:
«Точно настроенный баланс скорости вращения, скорости передачи данных и алгоритмов кэширования, разработанный для обеспечения как значительной экономии энергии, так и высокой производительности».
Эээ, верно.
Итак, можете ли вы протестировать только один диск со всеми удаленными ненужными слоями (LUKS, RAID) и посмотреть, намного ли он быстрее?
Могу я обратить ваше внимание на BAARF в котором подробно обсуждаются вопросы производительности parity-raid?
Кроме того, вам действительно следует включить кеш записи с любыми наборами данных с чередованием и четностью - в противном случае любая случайная загрузка (независимо от ее размера) немедленно убьет вашу производительность.
hdparm -W 1 /dev/sd[acfe]
Кстати: жесткие диски медленные при произвольном доступе. Я имею в виду ДЕЙСТВИТЕЛЬНО МЕДЛЕННО. В большинстве случаев никто не замечает, что данные, скорее всего, будут кэшированы или будут последовательными в сценарии «один компьютер - один жесткий диск». Но все серверные нагрузки с интенсивным вводом-выводом страдают от этой проблемы. У меня может быть массив RAID10 из восьми дисков Cheetah по 15K (возможно, самые быстрые из доступных дисков среднего уровня), насыщенных при 100% загрузке с полными очередями со скоростью менее 10 МБ / с, если нагрузка распределяется «правильно» (т.е. небольшие размеры блоков, случайная запись / read-access) в сценарии виртуализации. Если вам нужен произвольный доступ, убедитесь, что у вас большой кэш (с обратной записью). Если вам нужно много произвольного доступа, получите многоуровневое хранилище.