Назад | Перейти на главную страницу

Удаление / усечение таблицы DynamoDB с помощью AWS Data Pipeline

Я настроил конвейер данных, который импортирует файлы из корзины S3 в таблицу DynamoDB на основе предопределенного примера. Я хочу обрезать таблицу (или отбрасывать и создавать новую) каждый раз при запуске задания импорта. Конечно, это возможно с помощью AWS SDK, но я хотел бы сделать это только с помощью конвейера данных.

Возможно ли это сделать?

Спасибо за любую помощь

Я не уверен, что вам все еще нужно выполнять эту операцию, поскольку вы просили об этом много месяцев назад, но из-за отсутствия информации в Интернете по этой теме я решил создать учебное пособие и опубликовать его здесь, чтобы помочь другим людям, которые столкнулся с такой же ситуацией.

Это то, что у меня сработало.

В основном вам понадобится следующее:

  • Ведро S3 (куда вы загрузите сценарий оболочки для выполнения)
  • AMI EC2 (это запустит этот сценарий выше)
  • Конвейер (который уже импортирует данные DynamoDB в корзину S3)

Если все они у вас уже есть, то вперед!

Следуй этим шагам:

  1. Добавьте действие и назовите его CleanTableJob

  1. В CleanTableJob установите следующие настройки: (При выполнении -> Выберите новый ресурс и назовите его CleanDynamodbTableResource)

  1. В CleanDynamodbTableResource установите соответствующие настройки:

  1. В своей корзине S3 вы можете предоставить все, что обрабатывает удаление данных в DynamoDB следующим образом:

    java -jar /home/ec2-user/downloads/dynamodb_truncate_table-1.0-SNAPSHOT.jar

  2. Это оно:

Надеюсь, это поможет вам, ребята