У меня каждое утро через Атлантику по ftp передается несколько довольно больших файлов. Время от времени передача будет прерываться, вероятно, из-за проблем с подключением, и файлы будут оставаться в незавершенном состоянии.
Мне интересно, есть ли лучший способ справиться с этой передачей файлов. Можно ли сказать, что rsync или scp более устойчивы к периодической потере соединения? Лучше всего, если передача будет восстановлена и продолжена с того места, где она была прервана, если она будет прервана.
Большой в данном случае означает файлы размером до нескольких ГиБ и передачу, занимающую несколько часов.
Я считаю, что это тот случай, когда rsync должен работать хорошо. Rsync отлично справляется с возобновлением работы с того места, где он остановился, когда передача не завершена. Если более старая версия файла уже существует на удаленной стороне, rsync действительно хорош только для передачи различий.
Я действительно не думаю, что scp - это то, что вам нужно. Если вам нужно передавать по ssh, вы можете передать опцию -e ssh to rsync и ssh будут использоваться в качестве транспорта.
Я второй rsync вариант, однако, если вы хотите, чтобы он возобновил передачу большого файла, не забудьте использовать --partial параметр командной строки, который будет означать, что он не удаляет временный файл, в который выполнялась запись, когда ссылка разрывается. Вероятно, вам придется вызывать его в цикле, который повторяет попытку, когда ссылка разрывается.
Что-то вроде
until rsync --partial -e ssh sourcefile remote:destination; do
echo Retrying;
done
Почему не BitTorrent? Вы получите несколько бонусов, если воспользуетесь им. По крайней мере, надежные передачи и доступность семян из нескольких мест.
Определенно используйте rsync с -P, но для лучшей производительности в Атлантике вы, вероятно, захотите использовать один из инструментов передачи файлов на основе UDP - Aspera, FileCatalyst - или открытый исходный код Tsunami UDP.
Может быть Прямое соединение (или другой протокол P2P) - лучший выбор для вас?
Вы проверили Accellion? Они представляют собой гибрид ftp / webmail. Мы используем его для наших графических дизайнеров, чтобы безопасно и легко отправлять большие файлы на принтеры.
Они предлагают бесплатное виртуальное устройство. Он также имеет шифрование, уведомление о доставке и предотвращение пересылки, максимальный размер файла 2 ГБ, все встроено бесплатно.
Если вы платите, вы можете настроить автоматизацию и разрешить файлы размером до 10 ГБ.