Назад | Перейти на главную страницу

Ищем программный пакет для делегирования задач, требующих интенсивного использования ЦП, на инстансы EC2 по требованию

Я ищу проект, который упростил бы управление экземпляром EC2 по требованию для выполнения сценария. Вот мой сценарий.

Вместо того, чтобы выполнять скрипт Python с интенсивным использованием ЦП на том же сервере, я хотел бы делегировать его экземпляру EC2 по запросу. Я ищу проект, который поможет мне в следующем:

  1. предоставить скрипт, построенный поверх ec2, для управления экземпляром
  2. Я полагаю, как только экземпляр будет запущен, он может подключиться к нему по ssh и настроить необходимую среду, например, загрузить файл данных
  3. выполнить выполнение приложения в этом новом экземпляре
  4. собрать экземпляр формы результатов и завершить экземпляр

Я знаю, что все это можно сделать с помощью каких-то безумных сценариев, но я бы предпочел использовать для этого существующее программное обеспечение. Пожалуйста, предложите программные пакеты / библиотеки или инструменты, которые я могу использовать.

Для разных языков программирования доступно несколько библиотек, которые могут помочь вам взаимодействовать с AWS:

HTH

В качестве одного из строительных блоков обратите внимание на систему очередей AWS SQS. Ваши скрипты могут добавлять к нему «задания», и ваши экземпляры EC2 будут читать его оттуда.

Мне повезло с использованием бото (библиотека AWS-control на python) для такого рода вещей.