Назад | Перейти на главную страницу

Требования к оперативной памяти виртуальной машины для задания синхронизации aws s3

У меня есть настройка виртуальной машины для синхронизации 15 ТБ данных, разделенных на 25 ГБ, с S3 с использованием последней версии awscli v.2. У меня скорость загрузки 100 Мбит / с, и работа, вероятно, займет 16 дней. У меня до сих пор не было опыта с этим, я пытаюсь ограничить проблемы, с которыми я могу столкнуться.

  1. Есть ли какие-нибудь предположения, какие требования к оперативной памяти потребуются виртуальной машине для выполнения этого процесса?
  2. Подходит ли 2-ядерная виртуальная машина?
  3. Есть ли что-то еще, что мне нужно проверить, прежде чем продолжить?

Спасибо

  1. 2 ГБ памяти должны полностью работать, если вы используете Linux.
  2. Да - два ядра в порядке
  3. Если возможно, попробуйте сжать разбитые файлы, сжатие (даже на двух ядрах) может помочь вам ускорить процесс.

Я проделал эту работу на 2-ядерной машине 2 ГБ без каких-либо проблем. Я сжал файлы на 12-ядерной машине с помощью gzip и сэкономил еще 30%.