Наш последний рабочий проект предполагает отправку файлов размером более 100 ГБ из нашего офиса в Далласе нашему клиенту в Австралии. Меня попросили составить самый быстрый и надежный способ передачи этих файлов. Обычно с этим не было бы проблем, но когда мне сказали 100 ГБ, я решил, что мне нужно спросить совета. У меня также не хватает времени, поэтому у меня есть около 24 часов, чтобы собрать профессиональное решение (без серьезной разработки программного обеспечения).
Он должен работать быстро и быть устойчивым к перебоям в работе интернет-сервиса как на стороне загрузки, так и на стороне загрузки (резюме загрузки и резюме загрузки). Он также должен быть как можно более готовым к загрузке клиента. Инструмент интерфейса GUI был бы отличным.
Моей первой мыслью было использовать учетную запись Amazon S3 со сторонним менеджером загрузки / выгрузки, но я не уверен, насколько быстры ограничения полосы пропускания Amazon S3. EC2 быстрее? Также веб-сайт Amazon, как правило, обслуживает программистов - есть ли какие-либо надежные предварительно развернутые приложения, поддерживающие многократную загрузку и загрузку?
Ограничивающим фактором будет размер трубы между вами и вашим клиентом. Нет технологии, которая была бы быстрее другой. Любой современный механизм передачи файлов сможет заполнить любые ссылки, которые у вас есть.
Первое, что нужно сделать, чтобы сократить время передачи, - это эффективно сжать ваши данные. Поэкспериментируйте с различными форматами сжатия, такими как rar или 7zip, чтобы выбрать наиболее эффективный.
Поскольку все методы передачи практически эквивалентны по скорости, сконцентрируйтесь на возможности перезапуска. SCP или SFTP обладают хорошими возможностями перезапуска и легко обрабатываются сценариями. Если файлы в конечном итоге должны оказаться в нескольких офисах вашего клиента, BitTorrent - хороший вариант, потому что их офисы могут совместно использовать части между собой.
Тем не мение:
Никогда не недооценивайте пропускную способность универсала, набитого кассетами, мчащегося по шоссе. —Таненбаум, Эндрю С. (1996). Компьютерные сети. Нью-Джерси: Прентис-Холл. п. 83. ISBN 0-13-349945-6.
Вероятно, самый быстрый способ с точки зрения прошедшего времени - использовать жесткий диск USB или аналогичный и просто отправить его по почте или курьером. Я предлагаю вам провести несколько тестов с вашим клиентом, чтобы увидеть, какую пропускную способность вы получите, они сделают математику, чтобы увидеть, быстрее ли мчащийся по шоссе универсал, полный лент, мчится по шоссе. (Или жесткий диск USB в самолете, в зависимости от того, что вам больше нравится.)