Я хочу передать дамп mysql в сжатом виде на s3.
Я попытался:
mysqldump -u root -ppassword -all-databases | gzip -9 | s3cmd put s3://bucket/sql/databases.sql.gz
но тогда я получаю:
ERROR: Not enough paramters for command 'put'
Как это сделать (одной строкой)?
Это возможно с s3cmd
1.5+ (ссылка на сайт):
$ mysqldump ... | s3cmd put - s3://bucket/file-name.sql
Вам не хватает самого файла, резервную копию которого вы хотите запустить.
s3cmd put /backup_dir/somefile.sql.gz s3://bucket/sql/
s3cmd также принимает два основных аргумента: файл и корзину для резервного копирования.
Во-вторых, я не могу поверить в следующее, но в основном он делает то, что вы хотите, с помощью промежуточного скрипта. По сути, создайте файл bak.sh со следующим, и затем этот сценарий оболочки будет запускаться через bash. (Кредит: http://www.wong101.com/tech-cloud/configure-s3cmd-cron-automated-mysql-backup)
S3BUCKET="<bucketname>"
# Array of Databases
DBS=("<db1>" "<db2>" "<db3>" "<db4>")
for i in "${DBS[@]}"
do
DBNAME=$i
FILE=$DBNAME-`date "+%Y%m%d-%H%M"`.sql.gz
mysqldump $DBNAME -u[uname] -p[password] | gzip -9> /home/$FILE
#location of s3cmd may vary, modify if needed
/usr/bin/s3cmd --config /root/.s3cfg put /home/$FILE s3://$S3BUCKET/DBBackup-$DBNAME/ >> /var/log/mysqlback.log
sleep 5
rm /home/$FILE
done
Создайте mysql.sh для хранения mysqldump прямо в s3 через конвейер Никакие локальные файлы не будут сохранены.
#!/bin/bash
#/home/ec2-user/s3/mysql.sh
#logging
LOG_ROOT="/var/www/html/laravel/storage/logs/laravel-$(date +%Y-%m-%d).log"
# Basic variables
# Database credentials
USER=root
PASSWORD=password
HOST=localhost
DB_NAME=dbname
#Backup_Directory_Locations
S3BUCKET=s3://bucket/database/$(date +%a).sql.gz
# Timestamp (sortable AND readable)
TSTAMP=$(date +"%Y-%m-%d %H:%M:%S")
#Dump of Mysql Database into S3\
echo "[$TSTAMP] MYSQL_Dump.WARNING: MySQL Dump for DB_NAME started from cron s3/mysql.sh" >> "$LOG_ROOT"
echo "Stack trace:" >> "$LOG_ROOT"
echo "#wil be stored as s3://bucket/database/$(date +%a).sql.gz" >> "$LOG_ROOT"
mysqldump --host=$HOST --user=$USER --password=$PASSWORD $DB_NAME --routines --single-transaction | gzip -9 | aws s3 cp - $S3BUCKET
$TSTAMPEND=$(date +"%Y-%m-%d %H:%M:%S")
echo "[$TSTAMPEND] MYSQL_Dump.INFO: MySQL Dump finished." >> "$LOG_ROOT"
echo "Stack trace:" >> "$LOG_ROOT"
echo "#Backup stored at s3://bucket/database/$(date +%a).sql.gz" >> "$LOG_ROOT"
Создать Cronjob для ежедневного резервного копирования
#crontab -e
0 0 * * * bash /home/ec2-user/s3/mysql.sh to >/dev/null 2>&1
#midnight 12 daily
Вы можете попробовать использовать -
чтобы указать s3cmd, что он должен читать stdin для параметра источника, это может сработать. Если вы не можете сделать это с помощью промежуточного шага
mysqldump -u root -ppassword -all-databases | gzip -9 >tmp.file && s3cmd put tmp.file s3://bucket/sql/databases.sql.gz ... && rm tmp.file
Это сжимает вывод в tmp.file и в случае успеха (&&
) он поместит файл в s3, а затем, если это было успешно, удалит временный файл.