rsync изменяет уже существующие файлы

По умолчанию rsync прочитает весь файл как в источнике, так и в месте назначения, чтобы убедиться, что они идентичны. Это не потребляет пропускную способность сети, поскольку будет сравнивать только хеш-значение. Но он тратит время на чтение с диска.

В одном сценарии использования я обнаружил, что это ужасно неэффективно, потому что исходные файлы только добавлялись. Я использовал --size-only, который мне очень понравился.

Есть несколько других вариантов, которые, похоже, могут быть применимы, --append и --append-verify, но я их сам не тестировал.

Не похоже, что у вас есть каталог с большим количеством маленьких файлов, поэтому время, чтобы прочитать список каталогов с диска и просмотреть каждый файл, не должно быть большой проблемой.

Я думаю добавление -t к вашему списку аргументов поможет.

Чтобы проверить это, вы можете добавить --itemize-changes к аргументам (без -t). Если я правильно вас понял, это покажет T-флаг в каждой строке

man 1 rspec:

T означает, что время модификации другое и обновляется до значения отправителя (требуется --times). Альтернативное значение T означает, что время модификации будет установлено равным времени передачи, что происходит, когда файл / символическая ссылка / устройство обновляется без --times и когда символическая ссылка изменяется и получатель не может установить свое время. (Примечание: при использовании клиента rsync 3.0.0 вы можете увидеть флаг s в сочетании с t вместо правильного флага T для этого сбоя установки времени.)

После этого добавьте -t к команде (держать --itemize-changes) и вы получите t-флаг на каждой строке. При следующем запуске список будет содержать только новые файлы.

Это мой пример запуска:

krissi@host ~/tmp/rsync % l *
dst:
total 0

src:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:19 later
krissi@host ~/tmp/rsync % rsync -vzr --itemize-changes src/ dst/
sending incremental file list
>f+++++++++ bar
>f+++++++++ foo
>f+++++++++ later

sent 174 bytes  received 69 bytes  486.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % l *
dst:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:21 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:21 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:21 later

src:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:19 later
krissi@host ~/tmp/rsync % rsync -vzr --itemize-changes src/ dst/
sending incremental file list
>f..T...... bar
>f..T...... foo
>f..T...... later

sent 174 bytes  received 69 bytes  486.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % rsync -vzr --itemize-changes src/ dst/
sending incremental file list
>f..T...... bar
>f..T...... foo
>f..T...... later

sent 174 bytes  received 69 bytes  486.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % rsync -vzrt --itemize-changes src/ dst/
sending incremental file list
.d..t...... ./
>f..t...... bar
>f..t...... foo
>f..t...... later

sent 177 bytes  received 72 bytes  498.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % rsync -vzrt --itemize-changes src/ dst/
sending incremental file list

sent 66 bytes  received 12 bytes  156.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % l *
dst:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:19 later

src:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:19 later

Я добавил --ignore-existing , и похоже, что она ничего не изменит, а только загрузит новые файлы.

rsync -vzr --ignore-existing -e

Редактировать: Когда появляются новые файлы, каждый цикл все равно занимает больше времени.

почему ты говоришь, что каждый раз требуется больше времени? как это возможно?

может это программа, генерирующая файлы, трогает их?

попробуйте с --checksum: пропустить на основе контрольной суммы, а не времени модификации и размера, посмотрите, изменится ли это что-нибудь (я бы не оставил эту опцию, потому что она каждый раз читает каждый файл с диска, слишком дорого, я предлагаю только найти проблему .)

(и, возможно, попробуйте отладить с помощью -t вариант, который сохраняет время модификации)