У меня есть три диска, составляющие RAID-Z vdev в пуле zfs на Ubuntu Server 16.04.2, которые подключены через дешевую карту PCIE SATA, один кабель eSATA и множитель портов на другом конце.
iostat
показывает, что эти диски работают чрезвычайно плохо, как показано ниже:
Но я изо всех сил пытаюсь понять, почему. Оба контроллера (Syba SI-PEX40064) и множитель порта (небрендированный с чипсетом SiI3726) поддерживает умножение портов и FIS.
Если бы отказал один диск, я бы ожидал, что время ожидания будет медленным только на одном диске, а не на всех трех, подключенных через множитель портов.
Эти диски устанавливаются относительно недавно в этой конфигурации (2-3 недели), и эта проблема возникла только в последние несколько часов, несмотря на постоянное использование пула. Я не уверен, как работает ZFS, я полагаю, возможно, он до сих пор не записывал на эти диски?
Мы будем очень благодарны за любые предложения о том, что следует исследовать, или возможные факторы, которые могут привести к этому!
Тест скорости DD
root@server:~# dd if=/dev/sdi of=/dev/null bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 0.00211904 s, 4.9 GB/s
root@server:~# dd if=/dev/sdi of=/dev/null bs=1M count=10 iflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 12.5821 s, 833 kB/s
root@server:~# dd if=/dev/sdj of=/dev/null bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 0.00196007 s, 5.3 GB/s
root@server:~# dd if=/dev/sdj of=/dev/null bs=1M count=10 iflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 11.6849 s, 897 kB/s
root@server:~# dd if=/dev/sdk of=/dev/null bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 40.8416 s, 257 kB/s
root@server:~# dd if=/dev/sdk of=/dev/null bs=1M count=10 iflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 6.79282 s, 1.5 MB/s