Это имя, подобное схеме безопасности 2FA, происходит из сценария, в котором я хочу периодически проверять наличие определенных триггеров ETL.
Я не только хочу отслеживать, работает ли определенная процедура / не работает с сигналами тревоги, что я уже реализовал. Но также есть вторая инфраструктура, проверяющая наличие триггеров. Таким образом. Если я не получаю сообщение об ошибке, я могу быть уверен, что все работает.
Представьте, что у вас запланирован запуск ETL каждый месяц. Требования ваших проектов - запускать этот ETL каждый месяц. Вы устанавливаете его на запуск каждый месяц, и какое-то время все работает. Но через квартал кто-то вносит некоторые изменения в конфигурацию, и ETL больше не запускается. Очевидно, это не вызывает никаких новых ошибок. Мне нужен инструмент за пределами моей среды для мониторинга, который поддерживает и обеспечивает выполнение требований.
Есть ли какой-нибудь инструмент / методология / техника, подобная описанной выше?
Я бы предложил использовать Облачный мониторинг который обеспечивает видимость производительности, времени безотказной работы и общего состояния облачных приложений. Если вы планируете использовать Dataflow, он включает веб-интерфейс мониторинга. Интерфейс мониторинга позволяет вам видеть и взаимодействовать с вашими заданиями Dataflow, позволяет создавать оповещения и информационные панели а также определение причина неудач в вашем трубопроводе