Мне интересно, есть ли эффективный способ резервного копирования файлов с (S) FTP-сервера (Exavault) в Google Cloud Storage (GCS). Мы используем управляемую службу FTP Exavault и хотим регулярно создавать резервные копии файлов в GCS, а затем удалять файлы старше 30 дней из Exavault.
Текущая реализация (чертовски медленно):
curlftpfsgsutil rsync для синхронизации файлов из подключенного хранилища в GCS BucketЭтот метод работает очень медленно, и я не думаю, что на данный момент он будет разумным решением.
Есть ли какие-то решения, которые могут сделать что-то подобное с ~ 500 ГБ данных более эффективно?
Несколько ftp-клиентов, монтируя каждый каталог верхнего уровня в системе как отдельный curlftpfs. Отправляйте на несколько облачных серверов, если пропускная способность исчерпана.
Offline Media Import. Предполагая, что вы можете привлечь всех к работе с физическими носителями.
Рассматривали ли вы использование коммерческого программного обеспечения для ускорения резервного копирования GCS? FileCatalyst Server имеет возможность монтировать GCS как файловую систему. Затем вы можете использовать любое клиентское приложение FileCatalyst (HotFolder, CLI, веб-интерфейс) для передачи файлов на сервер FileCatalyst с подключенным GCS в качестве виртуальной папки.
Вот ссылка на продукт: https://filecatalyst.com/solutions/filecatalyst-direct/
Да, я работаю в FileCatalyst.