Мы небольшая компания, и в ближайшем будущем нам потребуется передавать довольно большие объемы данных (10 ГБ + каждый раз) между Европой и Китаем.
Как многие, возможно, уже испытали, Интернет-соединения в Китай или из Китая могут быть довольно ненадежными и медленными, временами без какой-либо очевидной причины. Например, хотя отправка данных в Китай через FTP обычно работает хорошо, в обратном направлении она может быть очень медленной.
В настоящее время мы изучаем новые способы обеспечения высокой скорости передачи в обоих направлениях. Пока мы попробовали:
Хотим попробовать:
Буду особенно благодарен людям, которые уже сталкивались с подобными проблемами раньше.
Я бы предложил использовать rsync делать такого рода переводы. Он может использовать ssh для шифрования трафика (поэтому вам не нужно использовать отдельную VPN), сжимает поток (что может быть довольно эффективным в зависимости от вашего типа данных) и может перезапустить передачу, если они не удались (он использует скользящую контрольную сумму, чтобы узнать местонахождение передача не удалась и с чего начать заново).
Я использую следующее, что включает в себя вышеизложенное (поскольку клиент rsync на моих / большинстве машин по умолчанию использует ssh):
rsync -avz <local file> username@hostname:/path/where/to/place/file/<remote file>
Ты можешь использовать --progress чтобы увидеть на терминале, как идет перевод. Обычно это ssh и использует локальную машину rsync client, но есть также демон rsync. Я никогда не использовал его, но стоит разобраться, нужен ли вам настоящий демон, похожий на ftpd.
Поскольку он использует SSH, вы также можете изменить используемые им порты, если брандмауэры заблокируют их. то есть вам не нужно, чтобы ssh прослушивал порт 22 (на самом деле я не хочу, чтобы случайные люди в Интернете сканировали мой SSH).
Обычно он используется в системах Unix (включая Mac), но вы можете установить его с помощью Cygwin также, если вам нужно использовать его в Windows.
Если вам нужен реальный сервис, я использую rsync.net которые, что довольно очевидно, предоставляют хранилище, в которое вы можете легко выполнить синхронизацию данных. У них есть европейский центр обработки данных в Швеции, который соответствует вашим целям и не ограничивает скорость входящего / исходящего трафика (хотя проверьте мелкий шрифт).
Я предлагаю вам протестировать физическую отправку диска или флэш-накопителя в Китай, чтобы понять, сколько времени и сколько потребуется, чтобы отправить данные через транспортную компанию. Пропускная способность ОГРОМНАЯ с точки зрения данных. Вы можете зашифровать и отправить несколько отправлений, чтобы обеспечить избыточность и защиту, и у вас нет инфраструктуры для обслуживания.
Некоторые из вас спрашивали, на чем мы наконец остановились.
Хотя мы опробовали и протестировали почти все предложенные выше решения, использование проприетарного протокола и программного обеспечения Aspera, похоже, лучше всего подходит для наших целей.
Может быть, кто-то еще знает что-нибудь получше и хотел бы этим поделиться?
Думаю, вам нужна распределенная файловая система.
Ceph представляет собой платформу хранения бесплатного программного обеспечения, которая реализует объектное хранилище в едином распределенном компьютерном кластере и предоставляет интерфейсы для хранения на уровне объектов, блоков и файлов. Ceph в первую очередь нацелен на полностью распределенную работу без единой точки отказа, масштабируемую до эксабайтного уровня и свободно доступную.
Ceph реплицирует данные и делает их отказоустойчивыми, используя обычное оборудование и не требуя специальной аппаратной поддержки. Благодаря своей конструкции система является как самовосстанавливающейся, так и самоуправляемой, что позволяет минимизировать время администрирования и другие расходы.