У меня есть база данных, состоящая из множества элементов. По крайней мере, один раз в день я хочу просмотреть все элементы в этой базе данных и для каждого элемента вызвать внешний API, чтобы получить текущие данные об этом элементе и сохранить их в моей базе данных.
Имея в виду этот сценарий, я думал об использовании Lambda, DynamoDB и SNS следующим образом:
Эта установка должна быть масштабируемой, простой в использовании / настройке / обслуживании и, надеюсь, также рентабельной. Но справится ли он, если в DynamoDB будет 1000+ элементов, которые нужно обрабатывать хотя бы раз в день? Есть ли отказоустойчивость при такой настройке? Будет ли он обработан, если я захочу запускать это чаще, чем один раз в день, и, что более важно; Будет ли он по-прежнему экономически выгодным, если срабатывать, скажем, один раз в час? Есть ли лучший способ сделать это?
Почему-то я чувствую, что должен использовать SQS, но, может быть, он не очень полезен при работе без сервера, поскольку вы не можете опросить очередь, чтобы получить новые элементы для обработки?