Скорость чтения Solaris iSCSI увеличивается, когда мы начинаем писать

Вот такого я раньше не видел. У нас есть массив хранения IBM Storwize V3700, 24 ТБ, RAID 5, подключенный к файловому серверу Solaris 10 через канал iSCSI через Gigabit Ethernet (в настоящее время нет MPIO).

У нас есть два тома на RAID-массиве:

c2t602d0 - ZFS
c2t603d0 - UFS

Я сократил имена для краткости.

Теперь мы наблюдали очень низкую скорость чтения с тома ZFS на устройстве (~ 1-3 МБ / с). Я создал том UFS в качестве теста и запустил на нем Bonnie ++, чтобы провести сравнительный анализ устройства.

Обратите внимание на вывод iostat перед запуском Bonnie ++:

$ iostat -Dnx c2t602d0 c2t603d0 rmt/1 5 1000

                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
   13.4    0.0 1491.0    0.0  0.0  1.5    0.0  112.6   0  99 c2t602d0 (ZFS)
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t603d0 (UFS)
    0.0   10.2    0.0 1305.9  0.0  0.0    0.0    1.2   0   1 rmt/1    (Tape backup)
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
   15.8    0.0 1807.4    0.0  0.0  1.3    0.0   84.8   0  99 c2t602d0 (ZFS)
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t603d0 (UFS)
    0.0   11.4    0.0 1459.2  0.0  0.0    0.0    1.2   0   1 rmt/1    (Tape backup)
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
   10.8    0.0 1233.7    0.0  0.0  1.2    0.0  110.1   0  99 c2t602d0 (ZFS)
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t603d0 (UFS)
    0.0    7.6    0.0  972.9  0.0  0.0    0.0    1.2   0   1 rmt/1    (Tape backup)
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
   18.0    0.0 2060.6    0.0  0.0  1.3    0.0   70.9   0  98 c2t602d0 (ZFS)
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t603d0 (UFS)
    0.0   12.6    0.0 1612.7  0.0  0.0    0.0    1.2   0   2 rmt/1    (Tape backup)

rmt/1 это наш накопитель на магнитной ленте, который в настоящее время выполняет полное резервное копирование c2t602d0 - том ZFS. Обратите внимание, что мы читаем с тома со скоростью около 1,2 - 2,0 МБ / с.

Затем посмотрите, что происходит, когда я запускаю тест Bonnie ++ на диске UFS (который является просто другим томом на том же устройстве хранения IBM):

$ iostat -Dnx c2t602d0 c2t603d0 rmt/1 5 1000

                    extended device statistics
    r/s    w/s   kr/s     kw/s wait actv wsvc_t asvc_t  %w  %b device
   81.0    0.0 10204.4     0.0  0.0  4.1    0.0   51.2   0  96 c2t602d0 (ZFS)
    0.2   75.6     1.6 58547.5  0.0 12.8    0.0  168.8   0  99 c2t603d0 (UFS)
    0.0   77.0     0.0  9859.1  0.0  0.1    0.0    1.2   0   9 rmt/1    (Tape backup)
                    extended device statistics
    r/s    w/s   kr/s     kw/s wait actv wsvc_t asvc_t  %w  %b device
   90.4    0.0 11465.3     0.0  0.0  4.3    0.0   48.0   0  97 c2t602d0 (ZFS)
    0.0   83.4     0.0 57903.1  0.0 13.7    0.0  164.9   0 100 c2t603d0 (UFS)
    0.0   86.0     0.0 11004.7  0.0  0.1    0.0    1.2   0  11 rmt/1    (Tape backup)
                    extended device statistics
    r/s    w/s   kr/s     kw/s wait actv wsvc_t asvc_t  %w  %b device
   79.8    0.0 10048.3     0.0  0.0  3.2    0.0   40.7   0  97 c2t602d0 (ZFS)
    0.0   86.0     0.0 60239.9  0.0 13.3    0.0  155.0   0  98 c2t603d0 (UFS)
    0.0   74.4     0.0  9527.7  0.0  0.1    0.0    1.2   0   9 rmt/1    (Tape backup)
                    extended device statistics
    r/s    w/s   kr/s     kw/s wait actv wsvc_t asvc_t  %w  %b device
   91.2    0.0 11587.8     0.0  0.0  5.2    0.0   56.7   0  97 c2t602d0 (ZFS)
    0.0   71.0     0.0 55932.3  0.0 13.3    0.0  186.5   0 100 c2t603d0 (UFS)
    0.0   89.2     0.0 11423.4  0.0  0.1    0.0    1.2   0  11 rmt/1    (Tape backup)

Bonnie ++ записывает на UFS-диск в устройстве хранения со скоростью около 55-60 МБ / с. Странно то, что скорость чтения на томе ZFS теперь подскочила до ~ 10 МБ / с. По-прежнему не очень хорошо для Gigabit Ethernet, но намного лучше. Это тоже не аномалия. Он поддерживает скорость выше 10 МБ / с, пока выполняется тяжелая запись от Bonnie ++. Если я убью Bonnie ++, скорость чтения на томе ZFS упадет до 1-2 МБ / с.

Есть идеи, как я могу это объяснить? Во всяком случае, я думал, что произойдет обратное. У нас есть оба этих тома на одном устройстве хранения, подключенном через iSCSI к нашему файловому серверу. Если я начну много писать одному из них, я ожидал бы, что производительность чтения на другом снизится. уменьшение вместо того, чтобы взлетать, читать в 5 раз быстрее, чем было.

Спасибо за понимание.