Мы используем спотовые инстансы EC2 для сканирования данных. В любой момент времени нам нужно запустить 20 экземпляров. Мы стремимся к высокой доступности, а также к оптимизации затрат.
Схема, которой мы хотим следовать, приведена ниже: мы запускаем 20 спотовых инстансов с очень высокой ставкой (5 долларов США), чтобы избежать завершения. Мы продолжаем следить за спотовой ценой, и когда обнаруживаем, что спотовая цена превышает 2 доллара и остается на этом уровне более N часов, мы запускаем 20 инстансов по требованию, а затем завершаем все спотовые инстансы.
Снова продолжайте отслеживать спотовую цену, и когда спотовая цена стабилизируется, запустите 20 спотовых инстансов и отключите инстансы по требованию.
Чтобы упростить задачу, мы ищем готовый инструмент, который справится с этим за нас. Могу ли я сделать это с помощью автомасштабирования или любого другого инструмента?
Я не знаю ни одного инструмента, который сделает это за вас. Вы можете использовать автоматическое масштабирование для точечных экземпляров, но оно не будет делать то, что вы здесь описываете, за исключением того, что это простой способ контролировать количество запущенных экземпляров.
Мы пробовали аналогичную установку раньше, где я работаю, и думали то же самое. Установите высокую ставку, и мы никогда не будем уничтожать экземпляры. Позвольте мне сказать вам, что даже с высокими ставками вы получите прекращенные инстансы, и если вам очень не повезет, вам действительно придется заплатить эту очень высокую ставку. Около года назад так поступало множество людей, которые в некоторых случаях ставили сумасшедшие ставки выше 100 долларов и в итоге вынуждены были за них платить.
Если посмотреть на историю цен, можно найти множество примеров. Посмотрев на c1.medium в us-east-1a, вы можете увидеть, что 24 января цена подскочила с 0,018 доллара до 0,165 доллара. Это фактически прекратит работу всех ваших экземпляров без какого-либо уведомления. Предупреждаю, что такая установка рискованна.
Однако есть значительная экономия, которую вы можете достичь с помощью этого типа модели, есть успешные компании, которые могут это реализовать, но это непросто, и нет простого инструмента (о котором я знаю), который сделает это за вас. Это действительно зависит от вашего варианта использования. Если вам нужно 100% время безотказной работы, это не лучшее решение, если у вас нет какой-либо гибридной системы, в которой у вас всегда работают экземпляры по требованию на случай, если в спотовых экземплярах произойдет какой-то сбой.
Мы решили поцарапать все это после того, как это стало слишком сложной задачей для поддержания и достижения 100% времени безотказной работы. Для нас самым дешевым решением было использование зарезервированных инстансов, они намного дешевле, чем инстансы по требованию, и с новой моделью ценообразования для зарезервированных инстансов, я уверен, вы могли бы найти что-то, что соответствует вашему варианту использования, теперь, когда у вас есть Light Средние или тяжелые зарезервированные экземпляры.