Мы пытаемся загрузить 150 ТБ в S3 с помощью Commvault. Однако мы можем загружать только около половины террабайта в день с выделенной линией 1,5 Гбит / с. Мы также включили следующие рекомендации:
Что еще мы можем сделать, чтобы увеличить скорость приема в S3?
Итак, после открытия заявки в Commvault и нескольких часов устранения неполадок мы обнаружили, что проблема связана с горячими точками на локальном SAN и медленными дисками SATA, откуда резервные копии хранятся и отправляются на S3. Как только это было исправлено, узким местом стал интернет-канал.
В итоге мы смогли масштабироваться с 500 ГБ в день до 10 + ТБ в день. S3 смог масштабироваться довольно линейно по мере добавления большего количества потоков с конца Commvault.
Прочитать Эта статья. Задержка может существенно повлиять на производительность загрузки S3. Какое у вас время пинга до S3? Какой у вас средний размер объекта? Сколько потоков вы используете?
Ускорение передачи S3 использует CloudFront для загрузки, что может сделать его немного быстрее. Я читал отчеты, что это не всегда дает много пользы.
Вы можете загрузить в регион S3 ближе к вам, а затем реплицировать данные. Это, вероятно, будет стоить дороже.
Вы также можете отправить физический диск, используя AWS импорт экспорт.