Назад | Перейти на главную страницу

Умный способ уменьшить нагрузку на rsync / rclone с помощью резервных копий в Amazon S3?

Я начал запускать rclone, чтобы хранить на своем ноутбуке набор файлов, которые синхронизируются с облаком и зашифрованы. Я хотел «контролировать» шифрование из-за проблем с доверием. Rclone делает это довольно хорошо, и настолько хорошо, что я использую его для многих своих вещей, но это означает, что количество файлов в нем становится больше, и это стоит мне денег.

Я думал об альтернативах этому, например, синхронизировать разницу в zip-архиве или rdiff-файле или что-то в этом роде. Понятно, что это могло бы сработать, но у этого есть некоторые недостатки или препятствия, которые необходимо преодолеть.

Прежде всего, хранилище S3 не является настоящим rsync-сервером в том смысле, что оно не только копирует ту часть файла, которая изменилась. Если я хочу перейти на систему, которая отправляет большой двоичный объект в облако, ей нужен интеллект, чтобы знать, что уже там есть.

Я ищу следующие функции:

Я публикую это здесь, потому что думал, что этот вопрос даст стоящий ответ для многих людей с требованиями к использованию серверного типа.

заранее спасибо

[EDIT: добавлено, что я хочу, чтобы полный контроль над ключами шифрования и шифрование выполнялось локально перед передачей]

Я бы рекомендовал поискать программное обеспечение для резервного копирования, поддерживающее S3, и почти все они есть.

Два следующих, которые я использовал в прошлом или использую сейчас - с Google GCS, но они также поддерживают S3:

  • Двойственность позволяет создавать инкрементные резервные копии, хотя время от времени требует полного резервного копирования
  • Дублирование - это необычный вариант, позволяющий выполнять дедупликацию между машинами. Хотя мне это показалось немного менее стабильным, то есть иногда в моих снимках не хватает нескольких файлов.