У меня был аналогичный вопрос несколько месяцев назад Хорошее программное обеспечение для резервного копирования / архивирования?
Прямо сейчас я использую Norton Ghost, но замечаю, что если я перемещаю большие файлы (более 100 МБ), он сделает еще одну его копию. Съедает gbs как сумасшедший, надо еще кое-что. Есть ли у вас какие-нибудь предложения?
Backuppc может быть вашим ответом. - http://backuppc.sourceforge.net/
Из документа:
Идентичные файлы
BackupPC объединяет идентичные файлы в пулы с использованием жестких ссылок. Под `` идентичными файлами '' мы подразумеваем файлы с идентичным содержимым, не обязательно с одинаковыми разрешениями, владением или временем модификации. Два файла могут иметь разные разрешения, владение или время модификации, но все равно будут объединены в пул, если содержимое идентично. Это возможно, поскольку BackupPC хранит метаданные файла (разрешения, владение и время модификации) отдельно от содержимого файла.
Если вы используете программное обеспечение для резервного копирования, которое использует Одноэкземплярное хранилище например, Windows Home Server или Danz Retrocspect (теперь EMC Retrospect), не имеет значения, перемещаете ли вы файлы или даже дублируете их, поскольку программа резервного копирования идентифицирует идентичные файлы и сохраняет только одну их копию.
Просто исследовал то же решение, я наткнулся на Acronis Backup у которого, похоже, есть плагин для этого, но у него еще не было возможности проверить это.
Очевидно, это может вам не подойти, поскольку предполагает определенные допущения и компромиссы, но один из возможных способов сделать это:
Я делаю это, чтобы сохранить низкую полосу пропускания для резервного копирования за пределами сайта - затем я использую rsnapshot на содержание файла изображения на удаленном сайте, поскольку меня не беспокоит пропускная способность там.
Для небольших текстовых файлов вы можете использовать git. Не знаю, как это работает с большими файлами (100 МБ +).
Я знаю, что это устарело, но чрезвычайно актуально, поскольку дублирование сотен ГБ в ТБ ненужных файлов часто проблематично для любого экономного человека.
Я использовал Резервное копирование Areca. и, кажется, хорошо отслеживает повторяющиеся файлы. Недавно я переместил 300 ГБ в один прекрасный день, и он сделал резервную копию только 8 ГБ фактических данных, что означает, что он не копировал файлы повторно, а просто ссылался на них
Мое ручное зеркало файлов, версии и удаления увеличились на 350 ГБ (300, как указано выше) за 3 месяца, в то время как ArecaBackup увеличился только на 20 ГБ за тот же период времени.
Я ценю возможность резервного копирования файлов таким образом, чтобы вы могли получить доступ к фактическому файлу в дереве каталогов на бэкэнде; то есть файлы могут храниться в дереве каталогов в их исходном формате, а не в собственном формате, чтобы избежать повреждения резервной копии. Хотя обычно вы просматриваете графический интерфейс.
Я не нашел способа удалить файл из архива, поэтому, если есть большой файл, который я хочу удалить, я удаляю его в структуре каталогов, и если кто-то попытается восстановить его по какой-то причине, я уверен, что это вызовет ошибку при его восстановлении. Хотя я делаю это только для известных больших временных или повторяющихся файлов, так что это не было проблемой; а именно от пользователей, использующих резервные копии в качестве временного пространства, и временная работа в конечном итоге создается резервными копиями.
Самая большая опасность заключается в том, что если ваши файлы конфигурации будут повреждены или пропадут, вы не сможете их восстановить; но ваши файлы все равно будут у вас.
В целом, если вам не нравится привязка к поставщику или проприетарные форматы файлов, это отличное решение.
Я не имею к ним никакого отношения, они просто предоставили мне то, что решает мою проблему!
Как насчет использования rsync для этого (или эквивалент Windows)? Если вы используете --delete опция, он автоматически удалит файлы, которые отсутствуют из-за переименования / удаления.