Назад | Перейти на главную страницу

Как «правильно» синхронизировать миллионы файлов с помощью rsync и inotify?

Предположим, у меня есть 1 миллион файлов, список файлов будет примерно 20 МБ. Если я добавлю только один файл, inotify скажет rsync для передачи списка файлов и нового файла. Моя сеть не подходит, и мне, возможно, придется ограничить пропускную способность (--bwlimit).

Одновременно может быть добавлено несколько файлов, и, учитывая скорость передачи данных по сети, может одновременно выполняться несколько rsync.

Стоит ли оно того? Есть ли способ лучше?

Ваш случай звучит именно так lsyncd был создан для.
Он наблюдает за каталогом с помощью inotify и порождает rsync только с измененными файлами.
Он собирает изменения за несколько секунд.
Таким образом, когда вы вносите 5 изменений за одну секунду, на целевом сервере (серверах) будет запущен только один новый процесс синхронизации.