Я хочу сделать несколько резервных копий на S3 и хочу максимально уменьшить пропускную способность. Рассматриваю несколько вариантов. Похоже, librsync - лучшее решение для удаленного резервного копирования с низкой пропускной способностью.
Я читал, как работает librsync. И похоже, что удаленному концу необходимо вычислить контрольную сумму для блоков файлов, которые он сравнивает (а также на локальном конце). Я бы предположил, что S3 не может выполнять эти вычисления контрольной суммы, поскольку он обслуживает только файлы.
Я также читал, что S3 не поддерживает разделение файлов на куски. Он может предложить только весь файл или ничего.
Если оба (или любой) из этих утверждений верны, будет ли librsync бесполезным? Может ли кто-нибудь пролить свет на это для меня?
Спасибо.
Я думаю, что librsync - это просто реализация алгоритма. Его можно использовать по-разному. «Обычный» шаблон использования, как и в исходной программе rsync, действительно предполагает, что получатель будет поддерживать удаленную генерацию хэшей. Двойственность также использует librsync, но вместо этого предварительно вычисляет хеши, и поэтому не требует удаленной поддержки, помимо хранения файлов.
Больше информации: http://en.wikipedia.org/wiki/Rsync. В частности:
duplicity - это разновидность rdiff-backup, которая позволяет выполнять резервное копирование без взаимодействия с сервером хранения, как и в случае с простыми сервисами хранения, такими как Amazon S3. Он работает, заранее генерируя хэши для каждого блока, шифруя их и сохраняя на сервере, а затем извлекая их при выполнении инкрементного резервного копирования. Остальные данные также хранятся в зашифрованном виде в целях безопасности.
Я все еще занимаюсь исследованиями, но минимально при использовании Duplicity отключение SSL (s3-unencrypted-connection) и увеличение параметра volsize должны помочь сохранить полосу пропускания.