Назад | Перейти на главную страницу

Можно ли сделать репликацию базы данных на aws s3

У меня в компании база данных 4 ТБ. Поскольку многие различные аналитики требуют полных данных, текущая база данных не может обрабатывать одновременные сеансы от сотен пользователей.

Можно ли выполнить репликацию базы данных на s3, чтобы эта проблема была решена.

Я имею в виду

Начать с

  1. Сначала сделайте полный экспорт 4ТБ на s3
  2. Теперь я хочу делать инкрементные обновления, как мы делаем с репликацией базы данных на ведомых устройствах. Но здесь я хочу, чтобы он был на S3 вместо хоста. Даже если мне придется делать это один или два раза в день, это нормально.

но я не хочу экспортировать полный туберкулез каждый день

Там в любом случае

Ты не сможешь это сделать.

Никакая СУБД не позволяет хранить данные в S3. S3 - это просто интернет-хранилище объектов, каждый доступ требует, чтобы вы загружали ВСЕ объект с использованием определенного API. Это практично, только если объект достаточно мал для однократной загрузки и размещения в памяти, например что-то столь же маленькое, как sqlite, которое позволяет загружать в память и практически не изменять объект.

"Репликация изменений данных RDB в S3"? Даже некоторые СУБД «изобретают» такие сумасшедшие функции для использования многоэлементной загрузки S3, ваша компания получит ОГРОМНЫЕ счета за загрузку S3 и AWS за огромное количество запросов PUT / LIST / GET.

Подготовьтесь к созданию витрины данных / хранилища данных, создайте логику агрегации (триггер, процедура для подготовки некоторой агрегации) для вашей операции RBDMS, потому что для массового запроса аналитических данных не существует серебряных маркеров.