Назад | Перейти на главную страницу

Как обрабатывать файлы в GCP через SFTP и Stateful Sets

Я ищу здесь небольшое направление, и у меня проблемы. У меня есть приложение, которое должно обрабатывать несколько простых файлов csv, и я изо всех сил пытаюсь подключить соответствующие технологии.

  1. У меня есть приложение, которое можно развернуть как контейнер. Я считаю, что мне следует развернуть его как набор с отслеживанием состояния, поскольку он требует доступа к постоянной файловой системе.

  2. Я считаю, что мне нужно постоянное утверждение тома, чтобы смонтировать мой набор с отслеживанием состояния

  3. Я немного не понимаю, как файлы попадают в этот том. Мне нужен SFTP-сервер, чтобы третьи стороны могли перетаскивать файлы в место, которое приложение могло бы забрать и обработать.

Я не совсем уверен, как лучше всего это соединить. Могу ли я установить вычислительную виртуальную машину в том же месте, что и утверждение постоянного тома?

Это кажется простой задачей, но правильный дизайн здесь ускользает от меня. Помощь приветствуется.

Запуск Google GCP / Kubernetes

Вероятно, вам нужно развертывание, которое проще, чем StatefulSet, и может также использовать постоянные тома. Внимательно прочтите документацию, так как StatefulSet - это немного неправильное название.

Вы хотите, чтобы контейнер сервера sshd (который принимает соединения клиентов sftp) имел доступ к тому же тому, что и контейнер приложения, поместил оба контейнера в один и тот же Pod и смонтировал один и тот же том в обоих контейнерах.