Я хотел бы хранить большие двоичные файлы (файлы mongodump bson) в корзине Google Cloud Storage, смонтированной на экземпляре Google Compute через gcsfuse. Все работает хорошо, за исключением того, что fuse копирует каждый файл во временную папку каждый раз, когда я пишу файл. Мой вариант использования заключается в хранении файлов размером до 4 ТБ на GCS, чтобы снизить наши затраты на хранение, но если мне нужно сохранить диск, достаточно большой для временных файлов, GCS не снижает мои расходы, поскольку я должен хранить оба типа хранилища (диск и GCS).
Есть ли способ записать большие файлы в смонтированную корзину GCS без использования всего этого временного пространства в экземпляре GC?
Вот способ добиться того же результата, но без установки ковша GCS. Просто используйте возможность потоковой загрузки из gsutil, чтобы напрямую передать вывод из mongodump в корзину:
mongodump -d DBNAME -c COLLECTIONNAME --out - | gsutil cp - gs://cold-backups/daily/COLLECTIONNAME.bson
Видеть https://cloud.google.com/storage/docs/streaming для дополнительной информации.