У меня возникли проблемы с пониманием моего большого счета за S3, и я подумал, что спрошу здесь, прежде чем потратить 30 долларов на ежемесячную поддержку AWS.
В принципе, у меня есть Amazon EC2 экземпляр, который создает API для различных бирж криптовалют и сохраняет ответы на экземпляр HD. Звонки производятся примерно каждые 5 минут, объекты ответа около 100 Кб, считываются р скрипт и добавлен в CSV файл каждые ~ 8 минут. Этот файл CSV синхронизируется с Amazon S3 ведро примерно каждые 15 минут.
Файлы CSV обычно имеют размер 10 МБ или около того, примерно для 15 криптовалют, каждые 15 минут. Таким образом, если посмотреть на корзину Amazon S3, можно увидеть максимум 0,5 ГБ дискового пространства.
Однако TimedStorage-ByteHours составляет около 4 ТБ!
Сервис Amazon Simple Storage TimedStorage-ByteHrs $ 89,55
0,000 USD за ГБ - хранилище в рамках ежемесячного глобального бесплатного уровня 5 ГБ - Mo 0,00 USD
0,023 доллара за ГБ - первые 50 ТБ в месяц использования хранилища 3893,399 ГБ - мес 89,55 доллара
Любые идеи?
Скорее всего у вас есть Управление версиями S3 Включено - это означает, что старые объекты при перезаписи новой версией не удаляются, а вместо этого скрываются в истории. Для проверки перейдите на Сегмент -> Свойства -> Управление версиями.
Вы также можете просмотреть старые версии в браузере, например, на этом скриншоте у меня есть несколько версий 108c05...json
файл:
Если у вас включено управление версиями, но вы не хотите, вы можете Приостановить управление версиями но имейте в виду, что он не удалит старые версии, вам придется либо:
aws s3api list-object-versions
) Надеюсь, это поможет :)
Standard
самый дорогой, поэтому некоторые используют infrequent access
который имеет более низкую ежемесячную плату (~ 50% скидка) за 1 ГБ памяти в соответствии с таблицей цен. НО, Infrequent также имеет плату за извлечение 0,01 доллара США за ГБ, поэтому экономит только общие затраты на файлы, которые хранятся не менее одного месяца и извлекаются менее одного раза в месяц. Кроме того, в вашей корзине может быть политика жизненного цикла, которая со временем меняет класс хранения файлов, что может повлиять на начало 30-дневного минимального периода хранения.
Мелким шрифтом infrequent access
имеет минимальную плату 30 дней за каждый хранимый предмет.
Источник: https://aws.amazon.com/s3/pricing/
Первая сноска отмечена †
† Хранилище S3 Standard-Infrequent Access и S3 One Zone-Infrequent Access имеет минимальный оплачиваемый размер объекта 128 КБ. Объекты меньшего размера можно хранить, но взимается плата за 128 КБ хранилища. За S3 Standard-Infrequent Access и S3 One Zone-Infrequent Access Storage взимается плата за минимальный срок хранения 30 дней. Объекты, которые были удалены, перезаписаны или переведены в другой класс хранения до 30 дней, будут нести обычную плату за использование плюс пропорциональную плату за запрос в оставшийся 30-дневный минимум. Объекты, хранящиеся 30 дней или дольше, не требуют минимальной 30-дневной платы за запрос.
Что дорого в Amazon S3 и Google Cloud Storage, так это сетевые сборы, если данные отправляются в общедоступный Интернет, а не хранятся в облаке этой компании. Сетевая плата за поиск один раз может легко превысить срок хранения в течение 3-4 месяцев. 0,09 доллара США за ГБ (октябрь 2018 г.) для AWS S3, 0,12 доллара США за ГБ для облачного хранилища Google, самый низкий уровень использования.
Digital Ocean имеет совместимый с S3 уровень хранения под названием «Spaces», который, возможно, стоит проверить. Сообщалось о некоторых ошибках, и это могло быть каким-то образом ограничено, но общая цена выглядит интересной и может быть «достаточно хорошей» для некоторых применений.