Назад | Перейти на главную страницу

Руководство по автономному / онлайн-резервному копированию для AWS EC2, RDS и S3

У меня есть несколько экземпляров EC2 (Linux и Windows) с прикрепленными томами EBS, некоторые базы данных MySQL и сегменты S3 в учетной записи AWS. Я в ситуации, когда

У меня не будет времени работать над этим проектом около 6 месяцев. Я обязательно вернусь к работе над этим после временного перерыва
В это время я рассматриваю варианты резервного копирования, с помощью которых я могу значительно снизить свой счет за AWS.
У меня есть доступ к автономному хранилищу, который превышает сумму всех томов EBS, которые у меня есть (общий ресурс Windows)
В течение этого периода я ожидаю, что с данными будет выполнено ровно 2 операции. Резервное копирование из EC2 / S3 / RDS в начале перерыва и восстановление резервной копии обратно в учетную запись AWS в конце перерыва, т.е. я не буду пытаться извлечь файл из резервной копии и т. Д.

Я ищу руководство о том, как этого можно достичь, учитывая следующие соображения:

Стоимость - стоимость хранения невысока.
Простота использования - эти резервные копии необходимо будет восстановить обратно в ту же учетную запись AWS.
Резервное копирование конфигурации - я могу перенастроить все экземпляры EC2 и т. Д., Но способ резервного копирования конфигурации будет идеальным
Время для резервного копирования и восстановления - очевидно, чем быстрее, тем лучше

Я понимаю, что придется идти на компромиссы (например, время v автономное / оперативное резервное копирование или время v стоимость) и т.д.

Я видел предложения по использованию ледника s3 или snapshot to s3 варианты, но не ясно, что будет стоить мне дороже.

Предположим, ниже указаны серверы, которые у меня есть

2 - Экземпляр Centos для Linux r4.xlarge с прикрепленным томом по 1000 ГБ каждый
1- экземпляр Windows m4.large с прикрепленным томом 500 ГБ
1 экземпляр MySQL RDS объемом 500 ГБ
2 сегмента S3 по 300 ГБ в каждом

Я сделал быстрый расчет Таким образом, текущая инфраструктура обходится примерно в 940 долларов США в месяц, но не включает пропускную способность. Скажем, 1000 долларов США.

Я предполагаю, что размеры вашего тома являются фактическими данными. Это достаточный объем данных, и этот объем данных действительно имеет значение для ваших вариантов, поскольку полоса пропускания AWS очень дорога. Если у вас меньше данных, расчет может быть другим, что сделает загрузку данных более рентабельной, но только для относительно небольших объемов данных.

Я сосредоточусь на снижении затрат, а не на простоте / скорости для развертывания инфраструктуры. Я также предполагаю, что мы-восток-1 / Вирджиния.

Обратимся к этой услуге по услуге

S3 с хранилищем на 600 ГБ стоит всего 14 долларов в месяц, так что ничего не стоит делать. Ваши варианты:

Магазин в классе S3 IA (7,50 долл. США в месяц)
Магазин в классе S3 Glacier Deep Archive (0,60 доллара США в месяц)
Загрузите его на свое локальное хранилище (52 доллара за загрузку, так что на шесть месяцев дороже, чем S3)

Рекомендуется: класс S3 Glacier Deep Archive.

EC2 / EBS

Отключение экземпляров очевидно, поэтому я посмотрю на EBS.

Снимок состояния EBS для S3: 2,5 ТБ - 125 долларов США в месяц
Скачать содержимое дисков: 227 долларов за пропускную способность
Сжатие и хранение в классе глубокого архива S3: 2,53 доллара в месяц

S3 Deep Archive снова выигрывает

RDS

Резервные копии RDS: 500 ГБ по цене 0,095 доллара США за 1 ГБ - 47,50 доллара США в месяц.
Резервное копирование / дамп данных в плоский файл (например, mysqldump), сохранение его в S3: 0,50 доллара США в месяц.

Затраты на поиски ледника S3

Массовое извлечение уровня стоит 0,0025 USD / ГБ. У вас около 3,6 ТБ, что составляет около 9 долларов США.

Резюме

По сути, Glacier Deep Archive - лучший вариант для всех ваших данных. При отключении экземпляров EC2 / RDS, копировании / архивировании данных, удалении экземпляров / томов / моментальных снимков / резервных копий RDS ваш счет снижается с примерно 1000 долларов до примерно 3,63 долларов в месяц.

Большое предостережение при использовании глубокого архива S3 заключается в том, что данные будут оплачиваться минимум за 6 месяцев независимо от того, как долго они там хранятся. Класс Glacier стоит в 4 раза больше, но длится минимум 90 дней. Следующий уровень - это класс IA, который еще в 3 раза выше, что в целом в 12 раз дороже, чем глубокий архив.

Обратите внимание, что я не учел затраты на запрос S3 API. Обычно они относительно низкие, если вы загружаете меньшее количество больших файлов, особенно если вы устанавливаете размер многоэлементного блока выше.

s3 =
  max_concurrent_requests = 20
  max_queue_size = 1000
  multipart_threshold = 64MB
  multipart_chunksize = 128MB

Также может взиматься плата за пропускную способность при перемещении данных. Если кто-то укажет на что-нибудь существенное, я добавлю это к своему ответу.