Все источники находятся в ОС Windows, а резервная копия назначения находится в системе Unix (мы используем Samba).
Мой исходный репозиторий похож на:
-Repository
--Folder1
---Files
--Folder2
---Files
etc...
Я хотел бы получить пункт назначения, похожий на:
-Repository
--Folder1.zip
--Folder2.zip
etc...
Несколько вещей, которые вам следует знать:
- У меня есть 30 ТБ данных для резервного копирования,
- Я исключаю папки старше 10 дней (может ли MAXAGE: N работать с папками?),
Есть ли способ синхронизации с помощью папок Robocopy и zip-файлов без предварительного zip-архива?
Рабочий процесс на самом деле:
- синхронизировать папки и файлы между источником и местом назначения с помощью robocopy,
- папки назначения zip,
- снова синхронизировать (но как сравнивать?, файлы в месте назначения теперь в формате zip).
Если вы заархивируете набор файлов, а затем измените один из файлов и создадите другой zip-файл, вы не сможете сделать дифференциальную копию между ними, вам придется скопировать весь zip-архив заново. Это будет убийца в вашей сети, а также в исходном хранилище и на сервере, где вы постоянно перечитываете и переписываете эти файлы.
30 ТБ данных - при условии, что вы получите приличное сжатие 50%, скопируйте его по гигабитному Ethernet-каналу около 70 часов, если вы сможете реализовать скорость передачи около 60 МБ / с в течение всего периода времени (использование 50% сети в среднем). Если у вас есть ссылка 10GigE, вы можете рассчитывать получить в 5-6 раз больше, а может и больше, если это очень хорошие ссылки 10Gig.
В зависимости от исходной системы хранения и количества и размера исходных файлов у вас также могут возникнуть проблемы с их чтением и сжатием с такой скоростью. Точно так же вам понадобится разумная целевая система, которая сможет поддерживать стабильную скорость записи 60 МБ / с. И снова увеличьте это, если вы используете 10Gig и хотите поддерживать скорость передачи.
Мне это кажется идеальным вариантом использования для сжатия или дедупликации на месте в целевой системе хранения - смотрели ли вы какие-либо решения, которые сделают это за вас?