Назад | Перейти на главную страницу

Посоветуйте, как лучше всего заархивировать много файлов с сервера на ледник S3

Я хотел бы лучше понять лучший подход к этой проблеме и любые подводные камни, которые я мог упустить из виду с точки зрения загрузки ЦП / памяти / сети / ввода-вывода на сервере A:

Сервер A = производственный сервер, обслуживающий клиента, с файлами, которые я хочу заархивировать Сервер B = сервер, не ориентированный на клиента, для различных задач системного администратора

  1. Пропускная способность сети между этими серверами составляет 100 Мбит / с.
  2. Я хочу минимизировать влияние на сервер A, переложив всю работу на B
  3. Поэтому я сделаю общий ресурс NFS на A, чтобы у B был доступ к файлам.
  4. Запустите сценарий на сервере B, чтобы найти и архивировать файлы из общего ресурса NFS A в его собственное локальное хранилище.
  5. Затем скрипт на сервере B выполнит многостраничную загрузку в класс хранилища AWS s3 deep glacier.

Это самый оптимальный подход? Должен ли я вместо этого копировать файлы с сервера A на B, а затем запускать любые команды, которые я хочу? Как команды, такие как find и tar, работают в сети, и какой сервер выполняет основную работу? Следует ли ограничивать find и tar определенной пропускной способностью, если я запускаю их для файлов в общей папке NFS?

PS: Это около 10 ГБ (30 000 файлов) в день, и я могу хранить их в течение года. Самый простой подход - просто запустить aws sync на prod-сервере в нерабочее время ... но это не кажется элегантным решением.