Я знаю, что можно сбалансировать трафик с помощью экземпляров ELB / EC2, но есть ли способ распределить вычисления ЦП по кластеру экземпляров.
Я хочу обрабатывать много видео / аудио с помощью ffmpeg, но если сервер становится слишком медленным, я хотел бы иметь возможность создать другой экземпляр с той же настройкой, чтобы взять на себя часть нагрузки с основного сервера. Думайте об этом как о небольшой перерабатывающей ферме
Возможно ли то, что я ищу, с Amazon? Если да, то что мне нужно искать с точки зрения документации и сервисов AWS? Спасибо
В этом отношении инстансы Amazon EC2 ничем не отличаются от любого другого оборудования.
Да, есть фреймворки, которые помогают с кластерными вычислениями, но это непросто, и, конечно же, нет «волшебного» пакета, который вы можете установить, чтобы заставить его работать.
Ваше приложение должно быть написано с учетом распараллеливания / кластеризации, чтобы это могло работать, и будет ли оно вообще работать, во многом зависит от вашей конкретной рабочей нагрузки.
AWS Lambda - это новый ответ распределенным вычислениям AWS. По сути, он позволяет запускать функции JavaScript по запросу на разных облачных машинах без необходимости выполнять какую-либо настройку / разборку. Вы платите только за время выполнения кода, и вам не нужно настраивать кластер серверов для ожидания выполнения заданий.
AWS Lambda автоматически запускает ваш код в вычислительной инфраструктуре высокой доступности и выполняет все администрирование базовых вычислительных ресурсов, включая обслуживание сервера и операционной системы, выделение емкости и автоматическое масштабирование, развертывание кода и исправлений безопасности, а также мониторинг и ведение журнала. Все, что вам нужно сделать, это написать код.
OP уже принял ответ @ErikA, но я собираюсь опубликовать пару других мыслей. Хотя верно то, что инстансы EC2 не предлагают ничего отличного от другого оборудования, это не относится к AWS в целом. Существует несколько сервисов, специально созданных для распределения вычислений и сервисов в мини (или максимальных) обрабатывающих фермах.
Доступны отличные ресурсы, описывающие, как обрабатывать видео с помощью набора сервисов AWS. Я бы предложил начать с Пример использования Encoding.com а затем копаемся немного глубже в некоторые вычислительные области Архитектурный центр.
Комбинация доступных сервисов уникальна: EC2 и Elastic Beanstalk для вычислительных ресурсов, S3 для крупномасштабного хранилища BLOB-объектов, SimpleDB для небольшого хранилища BLOB-объектов (метаданные) и SQS / SWS для поддержки обмена сообщениями и распределения задач. Вы, конечно, можете спроектировать и развернуть системы, которые выполняют любую из этих задач или все это, но с учетной записью AWS вы можете запустить весь набор задач сегодня днем.