В настоящее время мы используем rsync для резервного копирования виртуальных дисков на другой компьютер.
Rsync работает медленнее, чем прямое копирование, но перезаписывает только измененные части в файлах назначения. Это позволяет делать снимки с историей резервного копирования, поэтому у нас есть история за несколько недель с объемом хранилища всего 3,6 ТБ (исходные файлы - 1,6 ТБ).
Помимо медленной работы, основная проблема заключается в том, что rsync часто не может выполнять свою работу с большими файлами, особенно когда они содержат много идентичных данных (например, нули в неиспользуемых областях). Он висит вечно.
Мы протестировали xdelta и xdelta3, но они неэффективны с большими файлами.
Мы протестировали rdiff, но это не тот инструмент.
Мы протестировали open-vcdiff, тоже не тот инструмент.
Нам не нужен инструмент, способный найти похожие данные во всем файле. Нам нужно только сравнивать блоки файлов по блокам и передавать их только тогда, когда они различаются.
Вопрос: какой инструмент мы можем использовать для сравнения двух блоков файлов на блок и передачи различий?