У меня есть сервер Freenas на 300 ТБ для резервного копирования нескольких узлов Linux. Резервное копирование работает с ежедневными задачами создания снимков и rsync.
Пользователь часто перемещает большие наборы данных (2-5 ТБ) между серверами - поэтому часто большие файлы копируются несколько раз на нескольких серверах.
Онлайн-дедупликация была бы слишком дорогой (1,5 ТБ ОЗУ ...), так что есть ли какое-нибудь программное обеспечение для автономной дедупликации?
Я имею в виду, что файлы действительно имеют одно и то же имя и часто одинаковое время доступа - fdupes распознает их как идентичные с минимальными усилиями ...
Попробуйте BorgBackup - но вам придется использовать его вместо rsync.