В настоящее время мы оцениваем возможность использования Google Storage Nearline для резервного копирования. Рассматриваемые серверы расположены в центре обработки данных Hetzner, в среднем 80–100 Мбит / с в восходящем направлении и 300–500 Мбит / с в нисходящем направлении. Мы пользуемся гуглами gsutil для доступа к хранилищу и его rsync команда для синхронизации наших резервных каталогов. Хотя загрузка достаточно быстрая, загрузка файлов занимает слишком много времени: максимальная скорость загрузки составляет около 8-11 Мбит / с. Это происходит только с gsutil и не совсем подходит для хранилища резервных копий. Я знаю, что большие файлы следует загружать с помощью параллельных составных загрузок, однако Google рекомендует не включить его для Nearline.
Теперь мой вопрос: ожидаются ли такие низкие скорости загрузки? Есть ли способ его оптимизировать? На самом деле мы генерируем больше данных, чем можем отправить в Google Storage, и нам придется искать другие решения.
Если у вас есть большое количество объектов для синхронизации, вы можете использовать gsutil -m опция для выполнения параллельной (многопоточной / многопроцессорной) синхронизации: gsutil -m rsync -d -r data gs://mybucket/data
«БУДЬТЕ ОСТОРОЖНЫ ПРИ ИСПОЛЬЗОВАНИИ ОПЦИИ -d!».