Я пытаюсь найти способ ускорить передачу 95 ГБ данных в объектное хранилище моей компании.
Я передаю файлы через node / aws-sdk, но это слишком медленно. Я уже пробовал ManagedUpload и Multipart upload с тем же результатом (слишком медленно).
После этого нашел s3fs ... тоже самое.
Итак, теперь я выделил CrossFTP и DragonDisk, которые могут получить доступ к службам S3, но оба используют URL-адреса в стиле bucket.site.com, а мой корпоративный сервер использует стиль пути.
Есть ли способ настроить один / оба из них для использования стиля пути?
Также кто-нибудь знает более быстрый способ передачи файлов? Или любые другие клиенты Linux s3 FOSS?
Если бы я мог загрузить метаданные с файлами, это было бы плюсом.
редактировать
Отвечая на @emdee:
AFAIU, некоторые серверы S3 обращаются к корзине, используя префикс в доменном имени, например bucket.s3domain.com. Другие настроены для доступа к корзинам с использованием пути ПОСЛЕ доменного имени, например s3domain.com/bucket.
Мой корпоративный сервер использует Ceph для обеспечения функциональности s3.
Поэтому, когда я обращаюсь к нему с помощью CrossFTP или DragonDisk, они пытаются получить доступ к bucket.s3domain.com, и это не работает.
Ты можешь видеть Вот что в конструкторе S3 есть свойство s3ForcePathStyle, которое мой проект устанавливает для доступа к сайту. Также, когда я смонтировал s3fs, мне пришлось использовать следующую команду:
s3fs bucket /mnt/s3/ -o passwd_file=/home/me/.passwd-s3fs,url=https://myserverurl.com,use_path_request_style
Вы можете увидеть use_path_request_style в опциях. Когда я впервые попробовал без него, он тоже не работал.
Так что это не акция. Это конфигурация самого сервера s3.
Я знаю, что CrossFTP пытается получить доступ к серверу таким образом из-за сообщения об ошибке:
R1] S3 Error: -1 (null) error: Request Error: bucket.myserverurl.com: Nome ou serviço desconhecido; XML Error Message: null
Я, очевидно, меняю сегмент и имя сервера, чтобы скрыть сведения о моей компании, но я полагаю, вы это понимаете.
DrangonDisk, с другой стороны, правильно отображает сегменты, но когда я пытаюсь получить к нему доступ, он помещает
https://bucket.myserverurl.com/
в поле URL. Здесь я получил информацию о том, что оба программного обеспечения обращаются к серверу с конфигурацией, которую он не поддерживает.
Надеюсь, я уточнил.