Мне нужно скопировать каталог с одного из наших серверов в нескольких сотнях миль. На обоих сайтах, где я нахожусь и где находятся файлы, есть рабочий кабель. Кабель 5 Мбит / с (вниз) / 768 Кбит / с (вверх). Это создает небольшую проблему, учитывая, что мне нужно скопировать около 85 ГБ данных.
Я использовал калькулятор передачи файлов, и он сказал, что это займет 11 дней с некоторыми изменениями.
Мне было интересно, есть ли способ использовать что-то вроде DeDup для ускорения передачи.
Сервер, с которого я буду копировать, - Windows 2003 R2, моя коробка - Windows 7 Pro x64.
Я собирался передать данные на мою цель iSCSI, на которой работает Ubuntu Linux, с ZFS и SCST. Поможет ли дедупликация, выполняемая ZFS, в передаче, поэтому нужно ли выполнять деупликацию данных на отправляющей стороне?
Купите внешний жесткий диск. Скопируйте данные на сайте A. Отправьте их на сайт B. Скопируйте на машину на сайте B.
Не стоит недооценивать мощь почтовой службы.
Есть ли повторяющиеся данные?
Если нет, то дедуппинг вообще не поможет; если есть, он будет дедуплицирован по сети, только если вы передадите его с zfs send -D - поскольку ваш пункт назначения - Windows, это, вероятно, нет.
Не забывайте старомодные добрые сжатие.
Для каталога с большим количеством избыточных данных вы можете попробовать DZO Compressor. Дедупликация имеет смысл. DZO выполняет дедупликацию, а также сжатие без потерь. Продукт все еще находится в стадии бета-тестирования. По первоначальным результатам для данных с дубликатами, он работает в 2-3 раза лучше, чем winzip, winrar и другие. Смотрите их сайт http://essensolabs.com/ для получения подробной информации или загрузите бета-версию по ссылке ниже. http://essensolabs.com/invitation-trial.html
Если данные не содержат дубликатов, то они обеспечивают такое же сжатие, как и 7zip, поскольку для сжатия без потерь используется lzma.
Вышеуказанное может помочь только в уменьшении размера и, следовательно, меньшем времени на передачу, но это может быть в днях !!!