Как я могу запустить полный поток в Google Cloud Dataprep?
Я использую Google Cloud Dataprep. Я могу запустить один рецепт, но я хотел бы запустить полное задание, состоящее из нескольких рецептов. Я знаю, что могу составить график, но есть ли возможность «запустить поток» прямо сейчас?
Кроме того, я хотел бы знать, могу ли я изменить вывод рецепта и записать выходные данные, отличные от csv, например, я хотел бы написать в таблице Google Big Query.
заранее спасибо
Я использую новое представление потока, которое находится в стадии бета-тестирования. Я нажимаю на результат и получаю кнопку «Выполнить задание», которая запускает поток ad hoc.
Независимо от того, находитесь ли вы на экране потоков, на котором показаны все ваши потоки, или если вы находитесь на экране обзора потоков, вы можете щелкнуть эллипс (...) и запланировать поток. Это требует, чтобы вы запланировали его для нескольких запусков и НЕ имеет одноразового / специального варианта. Вы можете запланировать его, а затем удалить расписание, когда оно будет выполнено один раз.
Если рецепты зависят друг от друга, то, когда вы запускаете задание, привязанное к рецепту в конце потока, оно должно выполнять предыдущие рецепты.
Помимо этого, похоже, что это функциональный пробел в инструменте подготовки данных. Это значит быть более удобным для конечного пользователя инструментом, чем полноценным инструментом автоматизации. Для более технически подкованных, вероятно, стоит изучить, сможете ли вы выполнить то, что вам нужно, в потоке данных.
Вот связанный поток stackoverflow, который предоставляет дополнительные сведения о последнем варианте: https://stackoverflow.com/questions/53224329/how-do-i-chain-multiple-google-cloud-dataprep-flows