Назад | Перейти на главную страницу

Как учесть метрики облачного сервиса AWS, если журналы для этого ненадежны?

Как упоминалось в этой документации страница

Важный

Мы рекомендуем вам использовать журналы для понимания характера запросов вашего контента, а не для полного учета всех запросов. CloudFront предоставляет журналы доступа максимально эффективно. Запись журнала для конкретного запроса может быть доставлена ​​спустя много времени после того, как запрос был фактически обработан, или не доставлен вообще. В редких случаях использование, которое отображается в системах отслеживания использования и биллинга AWS, может не отображаться в журналах доступа CloudFront.

Я создаю систему, в которой я должен выставлять счета / ограничивать своих клиентов в соответствии с объемом используемых ими данных. Если не журналы, то какой еще детальный мониторинг доступа я могу использовать для измерения использования полосы пропускания на основе объектов.

Создание дополнительных дистрибутивов CloudFront не требует затрат, поэтому я бы рекомендовал создать хотя бы один дистрибутив для каждого клиента. В сочетании с отчетом об использовании AWS одно распределение для каждого клиента позволит вам увидеть довольно подробную информацию. Отчет об использовании отличается от журналов доступа. Изучите документацию:

В частности, столбец «Ресурс» будет соответствовать вашему идентификатору распространения CloudFront.

Обратите внимание, где написано «В редких случаях ...»

Дело не в том, что журналы доступа Cloudfront ненадежны, просто в Cloudfront не гарантируется, что журналы будут абсолютно, полностью, точно и безупречно учитывать каждый последний запрос, который мог быть обработан, и нет гарантия того, что Cloudfront никогда не найдет старые ненужные записи журнала и не доставит их вам позже.

В журнале S3 есть аналогичный отказ от ответственности:

Однако полнота и своевременность регистрации сервера не гарантируется. Запись журнала для конкретного запроса может быть доставлена ​​спустя много времени после того, как запрос был фактически обработан, или она может не быть доставлена ​​вообще. Журналы сервера предназначены для того, чтобы дать вам представление о характере трафика в вашем сегменте. Он не предназначен для полного учета всех запросов. Записи журнала теряются редко, но ведение журнала сервера не предназначено для полного учета всех запросов.

- http://docs.aws.amazon.com/AmazonS3/latest/dev/ServerLogs.html

Формулировка в обоих случаях вряд ли будет чем-то более значительным, чем простой отказ от ответственности, на который AWS может ссылаться, если клиент пытается оспорить свои платежи на основе собранных журналов, особенно если расхождение между выставлением счетов и журналами относительно незначительный.

По моему опыту, журналы, содержащие запросы, которые были в значительной степени в прошлом, имели место, но они необычны, и когда я пошел искать подробности конкретных запросов в журналах Cloudfront, они там были.

Соберите журналы Cloudfront и сравните их со своим подробным счетом. Если нет существенного несоответствия, я бы предположил, что нет необходимости серьезно беспокоиться о последствиях этого отказа от ответственности.