Я сделал ETL из MySql в bigQuery с помощью python, но поскольку у меня нет разрешения на подключение облачного хранилища Google / облачного sql, я должен сбрасывать данные и разбивать их на последнюю дату, это легко, но не стоит того, потому что много времени, я хочу использовать ETL с использованием воздушного потока от MySql / mongo до bigQuery без облачного хранилища Google / облачного sql, это возможно?
Apache Airflow (который используется в Cloud Composer в Google Cloud) обычно используется для планирования миграции. Фактическая миграция по всей процедуре ETL может быть выполнена с Облачный поток данных (который использует Apache Beam) и является рекомендуемым инструментом для этого варианта использования. Вот полное руководство для выполнения процедуры ETL из реляционной базы данных (например, MySQL) в BigQuery с помощью Cloud Dataflow.