Назад | Перейти на главную страницу

Есть ли способ определить узкое место в медленной передаче rsync?

Я переношу каталог с жесткого диска USB на свое устройство NAS (общий ресурс SMB).

Производительность жесткого диска USB:

sudo hdparm -Tt /dev/sdb
/dev/sdb:
Timing cached reads:   27884 MB in  1.99 seconds = 13987.00 MB/sec
Timing buffered disk reads: 122 MB in  3.03 seconds =  40.24 MB/sec

& Производительность жесткого диска SB II:

$ bonnie++ -d ./
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
HOSTNAME 15776M  1141  59 29840   1 10710   0   658  23 10836   0  35.7   1
Latency              7727us   27844us    1466ms     713ms    1659ms     874ms
Version  1.97       ------Sequential Create------ --------Random Create--------
HOSTNAME        -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16     2   0   828   0     2   0     4   0     3   0     3   0
Latency              1835ms     738ms    3080ms    2400ms    1867ms    1744ms
1.97,1.97,HOSTNAME,1,1531037873,15776M,,1141,59,29840,1,10710,0,658,23,10836,0,35.7,1,16,,,,,2,0,828,0,2,0,4,0,3,0,3,0,7727us,27844us,1466ms,713ms,1659ms,874ms,1835ms,738ms,3080ms,2400ms,1867ms,1744ms

команда rsync:

rsync -Pav ~/source/directory ~/target/dirctory

когда rsync делает свое дело, пропуская файлы, которые не нужно копировать (обычно первые 10 минут), скорости RX / Tx (через glances) составляют около 1,4 Мбит / с.

В момент начала передачи файлов возникают две проблемы

  1. Скорость передачи довольно низкая (~ 100-200 Кбит / с). Я предполагаю, что это связано с накладными расходами, связанными с небольшими файлами (~ 15 КБ)
  2. Каждые 4 или 5 файлов передача приостанавливается на 5-10 секунд, а скорость передачи отображается как 0 Кбит / с (см. Журналы ниже).

Мы будем благодарны за любые предложения относительно того, как исправить или диагностировать эту проблему.

Журналы:

image-8.jpg
          11,754 100%  166.36kB/s    0:00:00 (xfr#46, ir-chk=31730/238104)
 image-9.jpg
          10,975 100%  146.82kB/s    0:00:00 (xfr#47, ir-chk=31729/238104)
 image-9.jpg
          11,755 100%  149.08kB/s    0:00:00 (xfr#48, ir-chk=31728/238104)
 image-10.jpg
          11,125 100%  129.34kB/s    0:00:00 (xfr#49, ir-chk=31727/238104)
 image-10.jpg
          12,150 100%    0.00kB/s    0:00:00 (xfr#50, ir-chk=31726/238104)
 image-11.jpg
          10,963 100%  162.21kB/s    0:00:00 (xfr#51, ir-chk=31725/238104)
 image-11.jpg
          11,917 100%  161.63kB/s    0:00:00 (xfr#52, ir-chk=31724/238104)
 image-4.jpg
          11,046 100%  147.77kB/s    0:00:00 (xfr#53, ir-chk=31723/238104)
 image-4.jpg
          11,714 100%  136.18kB/s    0:00:00 (xfr#54, ir-chk=31722/238104)
 image-5.jpg
          11,065 100%    0.00kB/s    0:00:00 (xfr#55, ir-chk=31721/238104)
 image-5.jpg
          12,151 100%  171.97kB/s    0:00:00 (xfr#56, ir-chk=31720/238104)
 image-6.jpg
          10,777 100%  144.17kB/s    0:00:00 (xfr#57, ir-chk=31719/238104)
 image-6.jpg
          11,922 100%  157.33kB/s    0:00:00 (xfr#58, ir-chk=31718/238104)
 image-1.jpg
          10,870 100%  115.38kB/s    0:00:00 (xfr#59, ir-chk=31717/238104)
 image-1.jpg
          15,583 100%    0.00kB/s    0:00:00 (xfr#60, ir-chk=31716/238104)
 image-1.jpg
          15,287 100%  995.25kB/s    0:00:00 (xfr#61, ir-chk=31715/238104)
 image-3.jpg
          14,410 100%  502.58kB/s    0:00:00 (xfr#62, ir-chk=31714/238104)
 image-4.jpg
          14,889 100%  354.64kB/s    0:00:00 (xfr#63, ir-chk=31713/238104)
 image-5.jpg
          15,214 100%    0.00kB/s    0:00:00 (xfr#64, ir-chk=31712/238104)
 image-2.jpg
          14,493 100%  707.67kB/s    0:00:00 (xfr#65, ir-chk=31711/238104)