Я создаю программу, которая обрабатывает файлы csv и извлекает из них данные с помощью сценария оболочки всякий раз, когда пользователь загружает файл в корзину хранилища Google. Пользователи могут загружать файлы любое количество раз в день, и они должны обрабатываться немедленно. Как я могу этого добиться?
Вы можете создать Cron Job и запускайте скрипт через равные промежутки времени или каждую минуту, если хотите. Чтобы проверить, загружен ли новый файл, и обработайте файлы csv для извлечения данных с помощью созданного вами сценария оболочки.
Если у вас есть программа, которая будет обрабатывать файлы csv на машине Linux, вы можете сделать это:
Создайте сценарий оболочки с помощью команды gsutil rsync, например, Вот документация.
gsutil rsync -d -r bucket local_dir
С помощью этой команды вы можете синхронизировать корзину с локальной папкой и наоборот, поэтому будут загружены только новые файлы, вы можете делать это каждую минуту или где угодно.
Обработайте новые файлы CVS