Я создаю резервную копию нескольких виртуальных дисков (всего около 4 ТБ) со сроком хранения несколько недель.
Я использую 4 диска по 4 ТБ на компьютере, предназначенном для первичного резервного копирования. Файловая система - ZFS RAIDZ2, поэтому можно использовать 8 ТБ.
Вторичная резервная копия дисков 4 x 2 ТБ (полезная 4 ТБ) находится в отдельном здании, в ней хранится резервная копия за последнее воскресенье.
Я управляю хранением, создавая моментальные снимки: после каждого резервного копирования создается моментальный снимок в основной файловой системе резервного копирования. И снимки старше 90 дней удаляются. Объем измененных данных меньше 4 Тб за 90 дней, так что все в порядке (на самом деле у меня 30 последних дней + 9 предыдущих недель + 10 предыдущих месяцев, но дело не в этом).
На вторичной резервной копии у меня только одна резервная копия. Я тоже планирую реализовать удержание.
Сначала я подумал перейти на диски 4 x 4 ТБ (из-за нехватки места я не могу перейти на диски 6 x 2 ТБ) и сделать снимки, как в основной резервной копии.
Что, если я использую сжатие ZFS + снимки во вторичной резервной копии вместо обновления оборудования?
Сжатие приведет, скажем, к 600 Гб свободного места. Тогда снимки будут сохраняться несколько дней.
Сохраненные виртуальные диски обновляются с помощью rsync, поэтому изменяются только небольшие части. Так что я думаю, что в снимки «передаются» только мелкие детали. Но я не нахожу источника, подтверждающего, что это сработает, как я думаю.
Вопрос: при использовании ZFS в Linux со сжатием будут ли сниматься моментальные снимки очень больших файлов с разрозненными модификациями эффективно?
Вы должны использовать сжатие ZFS (с compression=lz4) по умолчанию в наши дни. Нет веских причин не использовать его, кроме случаев, когда вы знать что ваши данные не сжимаются.
Снимки в сжатых файловых системах ZFS по-прежнему эффективны и работают с репликацией и / или rsync.
Мы используем ZFS со сжатием и снимками для резервного копирования больших файлов уже несколько лет.
Размер снимков соответствует данным, обновленным с помощью rsync. Поэтому я не знаю, как работает сжатие в ZFS, но это не сильно снижает эффективность снимков.