Одна из рейдовых карт выдает сбой многобитного модуля оперативной памяти ecc, поэтому я перемещаю 60 ТБ данных с одного сервера на другой ...
Получение скорости чтения 60-100 Мб / с 3 Megaraid sas raid1 s 8 + 8 + 6 x 10 ТБ дисков и объединение их с raid 0 с помощью mdadm при сжатии папки с tar pigz в другую сетевую папку raid5 или тот же сервер. Я редко бью 100мб / с за пару секунд в час (до 250мб / с) ...
Однако, когда я копирую огромный файл 8 ГБ, он копируется с 10G Ethernet 987 МБ / с. Также hdparm -tT /dev/md0p1 дает 1,5 ГБ / с.
Размер кластера дисков и массива рейдов все 4096 тыс.% 75 файлов> 30 МБ, там тоже файлы ГБ Как я могу использовать tar.gz надежно и как можно быстрее ... Что не так с этой машиной
Одна из рейдовых карт выдает сбой многобитного модуля оперативной памяти ecc, так может ли это быть причиной низкой скорости или потому, что диски являются механическими, но имейте в виду, что распределение файлов выглядит следующим образом:
Bytes Number of Files:
0 14
16 24
32 21
64 603
128 207
256 1677
512 2361
1024 45
2048 90
4096 112
8192 358
16384 315
32768 235
65536 309
131072 296
262144 2275
524288 1148
1048576 2187
2097152 3204
4194304 2708
8388608 2148
16777216 703
33554432 1585
67108864 906
134217728 259
268435456 71
536870912 42
1073741824 33
2147483648 38
4294967296 16
Вот немного удобочитаемая версия: https://docs.google.com/spreadsheets/d/15J3LsU5G_km70mW0yE6ehiK4oHZmOLuUxRpBCM25-r0/edit?usp=sharing
Есть ли практический обходной путь для копирования всех данных перед заменой неисправной рейд-карты?
Вы даже не упомянули ни FS, ни настройку конфигурации RAID. Да, могло быть. Во-вторых, нет ничего удивительного в том, что небольшие файлы могут быть разбросаны по диску, в то время как большие файлы обычно имеют непрерывные области. Ротационное хранилище не справляется с таким положением вещей.
Я понял, что небольшие файлы, особенно близкие к размеру кластера рейда, ужасно копировать с помощью механических дисков, и при копировании небольших файлов он может упасть ... менее 250 КБ / сек.
Два обходных пути включают кеш-память рейд-карты, которая составляет 512 МБ и достаточна для потоковой передачи небольших файлов, когда у нее есть шанс ... Лучше, мы можем использовать диск nvme или sata-ssd в качестве кеша, используя bcache в Linux, и это приводит к 256 МБ / с до 1 ГБ / сек при копировании файлов размером от 512 КБ до 1 МБ. Bcache можно настроить с помощью sysfs. Есть параметр sequantial_cutoff, когда вы устанавливаете его на 1 МБ, файлы меньше 1 МБ отправляются в кеш sata-sdd или nvme, а другие пишут нормально. По умолчанию sequantial_cutoff составляет 4 МБ.
Оказывается, у нас отключены вентиляторы серверного корпуса из-за невероятного шума. И забыл их повторно подключить, что нагревает карту рейда и заставляет ее выдавать одно-многобитные ошибки ECC. ! Особенно карта в середине двух других рейдовых карт дала ошибку. Думаю, это потому, что у них пассивное охлаждение, а тот, что посередине, нагревает больше всего. Тем не менее, медленная скорость копирования тут ни при чем.
Окончательный ответ: нет ничего плохого в очень низких скоростях с механическими настройками RAID при копировании файлов, близких к размеру кластера, или файлов меньшего размера.