У меня каждую ночь создается дамп-файл posgresql, и я люблю сохранять каждый из них. Каждый имеет размер 14 ГБ, поэтому мой резервный диск скоро будет заполнен.
Разница между днями составляет всего около 100 МБ. Как делать ежедневные резервные копии, не теряя много места.
PS: я использовал tar для сжатия 1 файла, и размер уменьшился до 5 ГБ. Я надеялся, что при сжатии двух файлов соотношение будет лучше, но нет. 2 сжатых дампа по 10Гб
Вот альтернативный подход; поскольку размер вашей инкрементной резервной копии невелик, вероятно, регулярно меняются только несколько таблиц MySQL, и вы, вероятно, создаете резервную копию нескольких больших таблиц, которые не меняются день ото дня. Если вы можете выяснить, так ли это, вы можете создать резервную копию всей базы данных по сокращенному расписанию - возможно, один раз в неделю - и чаще делать резервные копии более изменчивых таблиц, используя:
mysqldump [database name] [table1 table2 ....]
Вот ссылка на документация mysqldump.
Я хотел бы продолжить упоминание Tometzyk о rdiff и предложить программное обеспечение для резервного копирования. rdiff-резервное копирование. Он хранит зеркальную копию самой последней резервной копии и сохраняет историю как сжатые обратные копии. Те раз, когда я использовал его для дампов базы данных, я помню, как ушел с довольно хорошей (небольшой) дельтой. То есть ваш mysqldump создает новый файл с тем же именем файла для каждого дампа, а затем вы запускаете rdiff-backup для этого дампа.
rdiff-backup можно запускать как локально (в том числе при подключении к сети), так и через ssh. Не стесняйтесь смотреть на Пример страницы rdiff-backup для нескольких распространенных сценариев использования.
rdiff от librsync это программа с открытым исходным кодом, которая будет вычислять разницу (так называемые дельты) между любыми (двоичными или текстовыми) файлами.
Также есть система резервного копирования - двуличие - который использует librsync для эффективного хранения резервных копий.
Есть двоичные дифференциальные программы. Томецкий упомянул rdiff. Раньше я использовал bsdiff, но он не работает с большими файлами.
Подумайте о том, чтобы запустить что-то вроде LZMA для сжатия файла дампа / сравнения после его извлечения. По моему опыту, наиболее среднее сжатие 3: 1 (хотя изображения и видео хуже, текст намного лучше, нормальный материал). LZMA значительно лучше, чем GZIP и BZIP в Tar.
Вы можете заархивировать свои файлы с помощью утилиты 7zip и упаковать их как сплошной архив