Я запускаю rsync как задачу cygwin на Windows Server 2008 около двух месяцев. Я использую параметр --link-dest, чтобы делать ежедневный «снимок» содержимого сервера, содержащего около 10 ТБ данных, около 13 миллионов файлов, на NAS-сервер на базе Linux. Все началось отлично, но вскоре я заметил, что время, необходимое для завершения, медленно увеличивается. Это началось около трех часов, а сейчас около пятнадцати.
Команда следующая ...
rsync -rlptDhPR \
--password-file=password \
--Chmod=Du=rwx,Dgo=rx,Fu=rw,Fgo=r \
--Stats \
--delete \
--log-file=logfilename \
--link-dest=linkdestpath \
sourceDirectory \
rsync@192.168.1.2::destinationDirectory
Я не использую полную опцию -a, поскольку различия между правами собственности на Windows и Linux все испортили.
Первый файл журнала выглядел так ...
2018/10/01 23:00:14 [2164] building file list
...transfer file list here
2018/10/02 02:11:30 [2164] Number of files: 13,759,998 (reg: 12,260,176, dir: 1,499,821, link: 1)
2018/10/02 02:11:30 [2164] Number of created files: 302 (reg: 291, dir: 11)
2018/10/02 02:11:30 [2164] Number of regular files transferred: 310
2018/10/02 02:11:30 [2164] Total file size: 10.40T bytes
2018/10/02 02:11:30 [2164] Total transferred file size: 664.31K bytes
2018/10/02 02:11:30 [2164] Literal data: 277.91K bytes
2018/10/02 02:11:30 [2164] Matched data: 386.40K bytes
2018/10/02 02:11:30 [2164] File list size: 10.42M
2018/10/02 02:11:30 [2164] File list generation time: 0.154 seconds
2018/10/02 02:11:30 [2164] File list transfer time: 0.000 seconds
2018/10/02 02:11:30 [2164] Total bytes sent: 235.68M
2018/10/02 02:11:30 [2164] Total bytes received: 7.51M
2018/10/02 02:11:30 [2164] sent 235.68M bytes received 7.51M bytes 21.17K bytes/sec
2018/10/02 02:11:30 [2164] total size is 10.40T speedup is 42,753.79
самый последний выглядит так ...
2018/11/24 23:00:15 [2924] building file list
2018/11/24 23:00:17 [2924] cd..t...... /cygdrive/
2018/11/25 13:21:16 [2924] Number of files: 13,776,423 (reg: 12,274,642, dir: 1,501,780, link: 1)
2018/11/25 13:21:16 [2924] Number of created files: 0
2018/11/25 13:21:16 [2924] Number of regular files transferred: 0
2018/11/25 13:21:16 [2924] Total file size: 10.49T bytes
2018/11/25 13:21:16 [2924] Total transferred file size: 0 bytes
2018/11/25 13:21:16 [2924] Literal data: 0 bytes
2018/11/25 13:21:16 [2924] Matched data: 0 bytes
2018/11/25 13:21:16 [2924] File list size: 10.35M
2018/11/25 13:21:16 [2924] File list generation time: 0.316 seconds
2018/11/25 13:21:16 [2924] File list transfer time: 0.000 seconds
2018/11/25 13:21:16 [2924] Total bytes sent: 236.55M
2018/11/25 13:21:16 [2924] Total bytes received: 7.51M
2018/11/25 13:21:16 [2924] sent 236.55M bytes received 7.51M bytes 4.72K bytes/sec
2018/11/25 13:21:16 [2924] total size is 10.49T speedup is 42,996.96
Как видите, время начала - 23:00 (23:00) в обоих случаях. Первый журнал показывает, что идентификация файлов для передачи заняла около трех часов (я пропустил список файлов - он довольно длинный), второй журнал занимает 14 часов, чтобы выполнить ту же работу (в данном случае это было сделано в выходные и Я включил весь файл журнала, который правильно определяет, что файлы не изменились)
Количество файлов такое же, как и все остальное. Просто по времени затраченного на "создание списка файлов" значительно больше.