У меня есть единственный корневой каталог (на NAS), который мне нужно скопировать на другой сервер. Иерархия каталогов состоит из нескольких уровней, и большая часть данных состоит из чрезвычайно больших коллекций файлов внутри примерно дюжины каталогов, расположенных в разных местах по всей иерархии. Если я выполню rsync в родительском каталоге, я могу получить пропускную способность около 100 МБ / с. Я тестировал запуск нескольких процессов rsync вручную в разных каталогах и мог получить более высокую пропускную способность (350-500 МБ / с). Я запускаю rsync с целевого сервера.
Я реализовал наивное решение, в котором он просто разделяет rsync, используя каталоги непосредственно в родительском каталоге, но он должен быть более целевым, чем это, поскольку некоторые из этих каталогов содержат больше данных, чем другие. В идеале каждый процесс должен отвечать за синхронизацию примерно одинакового количества данных.
Есть ли способ использовать rsync, чтобы разделить задачу на п rsync, каждый с (примерно) равным количеством файлов.