MySQL生产库之Xtrabackup物理备份

在生产环境中，我们一般采取mysqldump全库备份，但这对于大型数据库是不可用的，因为mysqldump是逻辑备份，备份和恢复的效率缓慢，根据个人经验给出一个临界值的话，500G以下的数据库可以用mysqldump来进行全库备份，500G以上的数据库则需要物理全库备份，甚至是增量备份。Xtrabackup是物理备份，其备份速度也因其物理特性远超逻辑备份的速度，而且Xtrabackup就是为了逻辑备份而生的，接下来演示一下Xtrabackup是如何完成对数据库的全备和增备的。

一：首先我们安装xtrabackup软件

该tar包可自行百度下载。

[root@HE3 ~]# tar xvf percona-xtrabackup-2.1.8-733-Linux-x86_64.tar.gz

[root@HE3 ~]# mkdir -p /usr/local/xtrabackup

[root@HE3 ~]#cp -rp  percona-xtrabackup-2.1.8-Linux-x86_64/* /usr/local/xtrabackup

将上述目录添加到系统环境变量

[root@HE3 bin]# echo export PATH=$PATH:/usr/local/xtrabackup/bin >>/etc/profile

[root@HE3 bin]# source /etc/profile

[root@HE3 yum.repos.d]# yum install perl-Time-HiRes

[root@HE3 bin]# yum install perl-DBD-MySQL*

二：创建备份目录

[root@HE3 ~]#mkdir -p /databackup/xtrabackup

[root@HE3 ~]#mkdir -p /databackup/xtrabackuplog

三：数据库授予备份用户相关权限

mysql > grant

SELECT,RELOAD,SHOW DATABASES,SUPER,LOCK TABLES,REPLICATION CLIENT,SHOW VIEW,EVENT,FILE on *.* to backup@'localhost' identified by 'MANAGER';

四：执行本文的自动化的备份脚本

[root@HE3 ~]#vi xtrabackup.sh

#backup.sh

#!/bin/sh

#on xtrabackup 2.1.8

# 第一次执行它的时候它会检查是否有完全备份,否则先创建一个全库备份

# 当你再次运行它的时候，它会根据脚本中的设定来基于之前的全备或增量备份进行增量备份

##################

#author rrhelei@126.com#

##################

INNOBACKUPEX_PATH=innobackupex  #INNOBACKUPEX的命令

INNOBACKUPEXFULL=/usr/local/xtrabackup/bin/$INNOBACKUPEX_PATH  #INNOBACKUPEX的命令路径

#mysql目标服务器以及用户名和密码

MYSQL_CMD="--host=localhost --user=backup --password=MANAGER --port=3306"

MYSQL_UP=" --user=backup --password='MANAGER' --port=3306"  #mysqladmin的用户名和密码

TMPLOG="/tmp/innobackupex.$$.log"

MY_CNF=/etc/my.cnf #mysql的配置文件

MYSQL=/usr/local/mysql/bin/mysql

MYSQL_ADMIN=/usr/local/mysql/bin/mysqladmin

BACKUP_DIR=/databackup/xtrabackup # 备份的主目录

FULLBACKUP_DIR=$BACKUP_DIR/full # 全库备份的目录

INCRBACKUP_DIR=$BACKUP_DIR/incre # 增量备份的目录

FULLBACKUP_INTERVAL=82800 # 全库备份的间隔周期，时间：秒

KEEP_FULLBACKUP=3 # 至少保留几个全库备份

logfiledate=backup.`date +%Y%m%d%H%M`.txt

#开始时间

STARTED_TIME=`date +%s`

#############################################################################

# 显示错误并退出

#############################################################################

error()

{

echo "$1" 1>&2

exit 1

}

# 检查执行环境

if [ ! -x $INNOBACKUPEXFULL ]; then

error "$INNOBACKUPEXFULL未安装或未链接到/usr/bin."

fi

if [ ! -d $BACKUP_DIR ]; then

error "备份目标文件夹:$BACKUP_DIR不存在."

fi

mysql_status=`netstat -nl | awk 'NR>2{if ($4 ~ /.*:3306/) {print "Yes";exit 0}}'`

if [ "$mysql_status" != "Yes" ];then

error "MySQL 没有启动运行."

fi

if ! `echo 'exit' | $MYSQL -s $MYSQL_CMD` ; then

error "提供的数据库用户名或密码不正确!"

fi

# 备份的头部信息

echo "----------------------------"

echo

echo "$0: MySQL备份脚本"

echo "开始于: `date +%F' '%T' '%w`"

echo

#新建全备和差异备份的目录

mkdir -p $FULLBACKUP_DIR

mkdir -p $INCRBACKUP_DIR

#查找最新的完全备份

LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`

# 查找最近修改的最新备份时间

LATEST_FULL_BACKUP_CREATED_TIME=`stat -c %Y $FULLBACKUP_DIR/$LATEST_FULL_BACKUP`

#如果全备有效进行增量备份否则执行完全备份

if [ "$LATEST_FULL_BACKUP" -a `expr $LATEST_FULL_BACKUP_CREATED_TIME + $FULLBACKUP_INTERVAL + 5` -ge $STARTED_TIME ] ; then

# 如果最新的全备未过期则以最新的全备文件名命名在增量备份目录下新建目录

echo -e "完全备份$LATEST_FULL_BACKUP未过期,将根据$LATEST_FULL_BACKUP名字作为增量备份基础目录名"

echo "  "

NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP

mkdir -p $NEW_INCRDIR

# 查找最新的增量备份是否存在.指定一个备份的路径作为增量备份的基础

LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`

if [ ! $LATEST_INCR_BACKUP ] ; then

INCRBASEDIR=$FULLBACKUP_DIR/$LATEST_FULL_BACKUP

echo -e "增量备份将以$INCRBASEDIR作为备份基础目录"

echo "  "

else

INCRBASEDIR=$INCRBACKUP_DIR/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}

echo -e "增量备份将以$INCRBASEDIR作为备份基础目录"

echo "  "

fi

echo "使用$INCRBASEDIR作为基础本次增量备份的基础目录."

$INNOBACKUPEXFULL --defaults-file=$MY_CNF --use-memory=4G $MYSQL_CMD --incremental $NEW_INCRDIR --incremental-basedir $INCRBASEDIR > $TMPLOG 2>&1

#保留一份备份的详细日志

cat $TMPLOG>/databackup/xtrabackuplog/$logfiledate

if [ -z "`tail -1 $TMPLOG | grep 'innobackupex: completed OK!'`" ] ; then

echo "$INNOBACKUPEX命令执行失败:"; echo

echo -e "---------- $INNOBACKUPEX_PATH错误 ----------"

cat $TMPLOG

rm -f $TMPLOG

exit 1

fi

THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`

rm -f $TMPLOG

echo -n "数据库成功备份到:$THISBACKUP"

echo

# 提示应该保留的备份文件起点

LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`

NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP

LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`

RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}

RES_INCRE_BACKUP=`dirname ${INCRBACKUP_DIR}/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}`

echo

echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色

echo -e "必须保留$KEEP_FULLBACKUP份全备即全备${RES_FULL_BACKUP}和${RES_INCRE_BACKUP}目录中所有增量备份."

echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色

echo

else

echo  "*********************************"

echo -e "正在执行全新的完全备份...请稍等..."

echo  "*********************************"

$INNOBACKUPEXFULL --defaults-file=$MY_CNF  --use-memory=4G  $MYSQL_CMD $FULLBACKUP_DIR > $TMPLOG 2>&1

#保留一份备份的详细日志

cat $TMPLOG>/databackup/xtrabackuplog/$logfiledate

if [ -z "`tail -1 $TMPLOG | grep 'innobackupex: completed OK!'`" ] ; then

echo "$INNOBACKUPEX命令执行失败:"; echo

echo -e "---------- $INNOBACKUPEX_PATH错误 ----------"

cat $TMPLOG

rm -f $TMPLOG

exit 1

fi

THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`

rm -f $TMPLOG

echo -n "数据库成功备份到:$THISBACKUP"

echo

# 提示应该保留的备份文件起点

LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`

RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}

echo

echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色

echo -e "无增量备份,必须保留$KEEP_FULLBACKUP份全备即全备${RES_FULL_BACKUP}."

echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色

echo

fi

#删除过期的全备

echo -e "find expire backup file...........waiting........."

echo -e "寻找过期的全备文件并删除">>/databackup/xtrabackuplog/$logfiledate

find $FULLBACKUP_DIR -type d -name "201*" -mtime +2| xargs rm -fr {};

#删除过期的增备

echo -e "寻找过期的增备文件并删除" >>/databackup/xtrabackuplog/$logfiledate

find $INCRBACKUP_DIR -type d -name "201*" -mtime +2| xargs rm -fr {};

echo

echo "完成于: `date +%F' '%T' '%w`"

exit 0

五：验证结果

脚本执行完毕后，则会在/databackup/xtrabackup下创建两个文件夹，分别是full代表全库备份和incre增量备份

第一次执行，则创建全库备份，该脚本每天创建一分全库备份，增量备份则根据执行脚本的间隔来执行。

六：计划任务参考

这里给出一个事例仅供参考：

编辑crontab计划任务

00 */1 * * * /root/shell/xtrabackup.sh 1>/dev/null  2>&1 &

这里的意思是每一小时自动执行一次脚本，增量备份的间隔是1小时。

时间： 2024-09-17 09:51:44

MySQL生产库之Xtrabackup物理备份的相关文章

MySQL生产库Insert了2次同样的记录但是主键ID是不一样的问题的分析过程_Mysql

Email里面收到朋友laopan的求助 laopan:insert into HudsonResult(JobID,EnvironmentID,FirstSessionID,RerunSessionID,State,Desp,OtherInfo) values ((select ID from Hudson where Stream='A7510_R52_Integration' and State='N' and pakName='needCompile' and User='jinhaiz

MySQL · 物理备份 · Percona XtraBackup 备份原理

前言 Percona XtraBackup(简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具,支持 MySQl(Oracle).Percona Server 和 MariaDB,并且全部开源,真可谓是业界良心.我们 RDS MySQL 的物理备份就是基于这个工具做的. 项目的 blueprint 和 bug 讨论放在 Launchpad,代码之前也放在 Launchpad,现在已经迁移到 Github 啦,项目更新发布非常快,感兴趣的可以关注 :-) 本文

Percona Xtrabackup快速备份MySQL

   老规矩,开场白,刚开始用mysqldump,备份100G+的数据库,再加上服务器繁忙,备份速度像蜗牛似的,于是寻找更高效的备份方法.网上都说用xtrabackup比较适合备份大的数据库,而且备份效率也高,就尝试使用一次,结果明显感觉比mysqldump备份与恢复速度就是快不少,那以后就用它了.大礼拜日的在家也没事,结合生产环境,写了这篇文档,刚接触的朋友,可以参考下,不多说,入正题! 1.初次备份前准备工作    1.1 了解备份方式        热备份:读写不受影响(mysqldump

mysql xtrabackup在线备份还原（全备+增备）

工具安装: [root@mysqlserver var]# tar -xvf Percona-XtraBackup-2.3.4-re80c779-el6-x86_64-bundle.tar   --解压包 percona-xtrabackup-2.3.4-1.el6.x86_64.rpm percona-xtrabackup-debuginfo-2.3.4-1.el6.x86_64.rpm percona-xtrabackup-test-2.3.4-1.el6.x86_64.rpm  [root

分析MySQL数据库物理备份死锁

背景 本文对 5.6 主备场景下,在备库做物理备份遇到死锁的case进行分析,希望对大家有所帮助. 这里用的的物理备份工具是 Percona-XtraBackup(PXB),有的同学可能不清楚其备份流程,所以这里先简单说下,PXB的备份步骤是这样的: 1. 拷贝 InnoDB redo log,这是一个单独的线程在拷,直到备份结束: 2. 拷贝所有InnoDB ibd文件: 3. 加全局读锁,执行 FLUSH TABLES WITH READ LOCK(FTWRL); 4. 拷贝 frm.MYD

MySQL · 答疑解惑 · 物理备份死锁分析

背景 本文对 5.6 主备场景下,在备库做物理备份遇到死锁的case进行分析,希望对大家有所帮助. 这里用的的物理备份工具是 Percona-XtraBackup(PXB),有的同学可能不清楚其备份流程,所以这里先简单说下,PXB的备份步骤是这样的: 拷贝 InnoDB redo log,这是一个单独的线程在拷,直到备份结束: 拷贝所有InnoDB ibd文件: 加全局读锁,执行 FLUSH TABLES WITH READ LOCK(FTWRL); 拷贝 frm.MYD.MYI 等文件: 获取

mysql数据库中innobackupex xtrabackup备份/还原

大数据量备份与还原,始终是个难点.当MYSQL超10G,用mysqldump来导出就比较慢了.在这里推荐xtrabackup,这个工具比mysqldump要快很多. 1.Xtrabackup介绍 1,Xtrabackup是什么 Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品. Xtrabackup有两个主要的工具:xtrabackup.innobackupex 1.xtraback

使用Xtrabackup在线备份及恢复MySQL

Xtrabackup是由percona开发的一个开源软件,它是innodb热备工具ibbackup(收费的商业软件)的一个开源替代品 .Xtrabackup由个部分组成:xtrabackup和innobackupex,其中xtrabackup工具用于备份innodb和 xtraDB引擎的表:而 innobackupex工具用于备份myisam和innodb引擎的表,本文将介绍如何用innobackupex工具做全量和增量备份. 官网:http://www.percona.com/docs/wik

利用Xtrabackup工具备份及恢复(MySQL DBA的必备工具)_Mysql

Xtrabackup------MySQL DBA的必备工具 注意: 1)文档参照http://www.percona.com/docs/wiki/percona-xtrabackup:start 2)mysql要使用5.1.50版本或以上. 一.Xtrabackup简介及安装 1.Xtrabackup  是percona的一个开源项目,可以热备份innodb ,XtraDB,和MyISAM(会锁表),可以看做是InnoDB Hotbackup的免费替代品.