Сейчас мы используем корпоративный продукт от Aspera. У нас есть лицензия, которая покрывает только 10 мегабит пропускной способности на одно соединение. Мы планируем перейти с Aspera, поскольку их стоимость лицензирования является убийственной, чтобы довести нас до 100 мегабит. Я искал вокруг и не могу найти никаких альтернатив. Прямо сейчас мы передаем что-то по 500 ГБ в день туда и обратно. Я бы предпочел что-нибудь из лагеря FOSS, но я не против покупки чего-то на базе Windows.
Чтобы предоставить вам некоторую справочную информацию о нашей конфигурации оборудования.
(2) Блейд-серверы BL495c - 2x 6-ядерных Opteron, 128 ГБ ОЗУ, хранилище - все на массивах HP MSA2300 FC, всего около 10 ТБ данных. Все работает на Hyper-V Server 2008r2.
Итак, со всем этим вопрос действительно таков:
Какое программное обеспечение / методы вы используете для обеспечения высокоскоростной загрузки / скачивания файлов вашим клиентам?
Изменить: я имею дело в основном с нетехническими конечными пользователями, которые все живут в мире Windows. Так что я бы хотел что-нибудь на основе браузера с довольно упрощенным пользовательским интерфейсом. Серверная часть может быть настолько технической, насколько это необходимо. Я думаю, что единственные реальные требования, которые у меня есть, - это производительность передачи файлов примерно 100 мегабит, пользовательские квоты и, возможно, регулирование соединения.
Мы используем SFTP / SCP или rsync-over-SSH, но это зависит от того, есть ли у клиента соответствующее клиент-серверное программное обеспечение.
Это происходит настолько быстро, насколько позволяют исходящие ссылки, при этом прерванные передачи rsync можно перезапускать, и все это прекрасно поддерживает сценарии (при условии, что вы знаете свой сценарий bash / эквивалентный сценарий и связанные с ним инструменты), поэтому все можно полностью автоматизировать. Вы захотите арендовать сервер где-нибудь для размещения файлов, а не передавать их напрямую от вас к клиенту, если у вас нет локального канала 100 Мбит, но это не будет дорого, если вам не нужны значительные SLA (не забудьте использовать зашифрованные файловые системы и другие подобные меры предосторожности, если информация является конфиденциальной, или конечно).
Однако это немного самостоятельное решение. Если вы ищете что-то более дружелюбное для ваших клиентов (например, что-то вроде dropbox), вам нужно добавить некоторые подробности о том, что вы ищете, в свой вопрос, чтобы получить соответствующие ответы. . Помните, что большинство пользователей не использовали Aspera, поэтому не будут знакомы с ним, и даже те, кто его использует, не будут знать, какие функции вы найдете особенно полезными (и которые вас не беспокоят), если вы этого не сделаете. t перечислить их.
Редактировать:
Этот инструмент недавно был на HN (Вот), который, похоже, стоит изучить, если у вас действительно толстое исходящее соединение. Очевидно, вам нужно будет изучить аспекты безопасности, например, каким-либо образом держать клиентов отдельно друг от друга (поскольку это похоже на синхронизацию личных файлов между местоположениями, а не на совместное использование их с клиентами). Предостережение: я сам еще не пробовал.
Рассматривали ли вы другие коммерческие решения для ускоренной передачи файлов?
Взгляните на FileCatalyst www.filecatalyst.com, он даст вам такое же преимущество в скорости по более доступной цене.
Вы также можете посмотреть на Signiant на коммерческом фронте.
Со стороны открытого исходного кода также есть несколько вариантов. UDT, Tsunami, GridFTP - все возможные варианты. Также взгляните на UFTP также. Я думаю, что проблема с этими решениями будет заключаться в том, что вы имеете дело с нетехническими конечными пользователями. Возможно, с помощью некоторых сценариев и одного из этих продуктов, работающих в фоновом режиме, вы сможете создать рабочие решения.
В своем блоге я собрал сравнение всех продуктов для передачи файлов с открытым исходным кодом и попытался определить, какой из них будет работать лучше всего в определенных ситуациях (например, высокая пропускная способность, сценарий с высокой задержкой и т. Д.)
Вот ссылка на статью в блоге: http://www.filecatalyst.com/open-source-fast-file-transfers
Джон
нота: Этот пользователь является сотрудником FileCatalyst.
Что-то из HPC, которое используется, если ваши наборы данных приближаются к размеру PB, а ваши каналы толстые, но имеют высокий RTT: GridFTP - параллельные потоки TCP, могут быть распределены по нескольким серверам. Возможно, для вашего приложения это будет излишним, но оно не будет работать быстрее, чем GridFTP. В зависимости от ваших политик безопасности может потребоваться полноценная PKI X509.
как упоминал Джон, вариант с файловым катализатором. Пожалуйста, поправьте меня, если я ошибаюсь, но, судя по моему мнению, файловому катализатору не хватает контроля над потреблением полосы пропускания. он будет использовать всю доступную пропускную способность. однако файловый катализатор предоставляет возможность планировать его «в непиковое время» в качестве альтернативы управлению полосой пропускания.
другие решения - это UDT с открытым исходным кодом или Tsunami, на которых построен файловый катализатор.
Мартин
9 лет спустя ОП найдет решение, но в любом случае:
Filesender - это решение PHP / javascript с открытым исходным кодом, которое, похоже, хорошо работает, позволяя людям передавать файлы через браузер.
Мы используем его для отправки и получения файлов от людей, которые не привыкли к FTP, особенно когда файлы слишком велики для служб, к которым они привыкли, например Dropbox, Wetransfer и т. Д.
Зарегистрированные пользователи могут отправлять ссылки для скачивания кому угодно, а также могут создавать «гостевые ваучеры» для отправки людям для загрузки.
Максимальный размер файла по умолчанию составляет 100 ГБ, но его можно настроить в соответствии с вашими потребностями (мы увеличили его до 250 ГБ).
Источник находится на Github: https://github.com/filesender/filesender#readme