Есть ли проблема в том, чтобы сделать это с большим количеством данных?
mysqldump ... | gzip | s3cmd put - s3://bucket/file.sql.gz
Размер дампа MySQL составляет около 100 ГБ. Что произойдет, если gzip или s3cmd не сможет обработать дамп достаточно быстро? Будет ли он переполнять буфер трубы?
Писатель будет блокировать ожидание, пока читатель будет готов.
Вам действительно стоит беспокоиться о том, что произойдет, если s3cmd выйдет из строя. Тогда вам придется начинать все сначала.
Я делаю физическое резервное копирование и загружаю в корзину s3 в два отдельных шага без проблем. Объем данных составляет около 250 ГБ, а размер файла .gz - около 80 ГБ.