Чтобы сэкономить место с помощью резервных копий, я хотел знать, могу ли я использовать дедупликацию или нужно использовать специальную реализацию. Другими словами, скажем, я использую программу резервного копирования x. Если я отправлю эти резервные копии на сервер, на котором есть дедупликация, например FreeNAS, это что-то, что можно будет позже восстановить, или мне нужно иметь специальное программное обеспечение в моем продукте для резервного копирования для получения и восстановления данных? Некоторые поставщики, например Dell, имеют специальные устройства резервного копирования с функцией дедупликации, но если я смогу создать собственное, я сэкономлю кучу денег.
Если вы использовали дедупликацию, встроенную в файловую систему, такую как ZFS (это то, что может использовать FreeNAS), то любые резервные копии на уровне файлов (например, rsync) не будут видеть дедупликацию и копировать файлы, как если бы они хранились в обычном режиме.
Если вы используете OS X или Linux, вы можете использовать программу резервного копирования с дедупликацией, например борг резервная копия. Он выполняет сжатие с очень хорошей стратегией исключения дубликатов, а также предлагает шифрование на стороне клиента. (Я предпочитаю использовать шифрование LUKS на USB-накопителях.)
Хорошо работает через SSH или запись на подключенный диск. Я также использовал его в Cygwin64 для резервного копирования файлов на машине Windows 7 в прошлом.
Большим преимуществом дедупликации на клиенте является то, что вы отправляете только то, что новое / измененное, через SSH-соединение на удаленный (при условии, что на удаленном хосте также установлен borg на пути). Это делает его действительно эффективным. Без установки borg как на клиенте, так и на сервере, все еще можно делать резервные копии через sftp: // или некоторые другие поддерживаемые протоколы, но далеко не так эффективно использовать пропускную способность.