mysql备份利器 Innobackup 大数据备份还原

大数据的备份和恢复,始终是个难点,当MySQL超过10个G,那么备份整个过程变得非常难熬,而且也不利于数据备份和恢复。这时候,刚好出现一款备份MySQL的工具 innobackup,速度比mysqldump要快好多


一、Xtrabackup介绍

1、Xtrabackup是什么

Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。

Xtrabackup有两个主要的工具:xtrabackup、innobackupex
(1)、xtrabackup只能备份InnoDB和XtraDB两种数据表,而不能备份MyISAM数据表。

(2)、 innobackupex是参考了InnoDB Hotbackup的innoback脚本修改而来的.innobackupex是一个perl脚本封装,封装了xtrabackup。主要是为了方便的 同时备份InnoDB和MyISAM引擎的表,但在处理myisam时需要加一个读锁。并且加入了一些使用的选项。如slave-info可以记录备份恢 复后,作为slave需要的一些信息,根据这些信息,可以很方便的利用备份来重做slave。



2、Xtrabackup可以做什么 :

在线(热)备份整个库的InnoDB、 XtraDB表在xtrabackup的上一次整库备份基础上做增量备份(innodb only)以流的形式产生备份,可以直接保存到远程机器上(本机硬盘空间不足时很有用)

MySQL数据库本身提供的工具并不支持真正的增量备份,二进制日志恢复是point-in-time(时间点)的恢复而不是增量备份。
Xtrabackup工具支持对InnoDB存储引擎的增量备份,工作原理如下:

**(1)首先完成一个完全备份,并记录下此时检查点的LSN(Log Sequence Number)。
(2)在进程增量备份时,比较表空间中每个页的LSN是否大于上次备份时的LSN,如果是,则备份该页,同时记录当前检查点的LSN。**

首 先,在logfile中找到并记录最后一个checkpoint(“last checkpoint LSN”),然后开始从LSN的位置开始拷贝InnoDB的logfile到xtrabackup_logfile;接着,开始拷贝全部的数据文 件.ibd;在拷贝全部数据文件结束之后,才停止拷贝logfile。
因为logfile里面记录全部的数据修改情况,所以,即时在备份过程中数据文件被修改过了,恢复时仍然能够通过解析xtrabackup_logfile保持数据的一致。

因为innobackupex支持innodb,myisam,所以本文说一下,怎么使用innobackupex。


二、安装xtrabackup

1、下载地址

http://www.percona.com/downloads/XtraBackup/

2、安装xtrabackup

yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev-devel
rpm -ivh percona-xtrabackup-2.3.2-1.el6.x86_64.rpm

三、针对大数据进行测试备份和还原速度

我们先来看看当前数据库数据的大小:
du -sh /usr/local/mysql/data/
17G /usr/local/mysql/data/

1、通过innobackupex对17G全库进行备份

time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) /root/backup/

备份完成后会有如下提示,并且time命令会产生改命令耗时时间:
completed OK!

real    5m42.814s
user    1m0.350s
sys 2m8.940s

2、全库数据还原

其实下面的命令也是和备份速度一样的,这里就不概述时间了,备份和还原17G的库所需时间为12分钟(执行命令所需时间)。

/etc/init.d/mysqld stop                             #停止数据库
mv /usr/local/mysql/data /usr/local/mysql/data_bak  #删除数据目录
mkdir -p /usr/local/mysql/data                      #新建数据目录

//--apply-log选项的命令是准备在一个备份上启动mysql服务
time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log /root/backup/2015-10-27_14-30-03/
//--copy-back 选项的命令从备份目录拷贝数据,索引,日志到my.cnf文件里规定的初始位置
time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --copy-back /root/backup/2015-10-27_14-30-03/

chown -R mysql:mysql /usr/local/mysql/data          #对MySQL用户进行赋权
/etc/init.d/mysqld start                            #启动MySQL

四、MySQL进行增量备份

1、先对数据库进行全备

innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) /root/backup/

2、创建测试库test1,在全量备份的基础上再进行增量备份

create database test1;
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --incremental-basedir=/root/backup/2015-10-27_15-47-26/ --incremental /root/backup/

3、创建测试库test2,在增量备份的基础上再进行增量备份

create database test2;
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --incremental-basedir=/root/backup/2015-10-27_15-49-17/ --incremental /root/backup/

4、查看所备份的文件

这边可以看到所备份的三个文件

[root@hongxue_216 backup]# ll /root/backup/
total 12
drwx------ 5 root root 4096 Oct 27 15:47 2015-10-27_15-47-26
drwx------ 6 root root 4096 Oct 27 15:49 2015-10-27_15-49-17
drwx------ 7 root root 4096 Oct 27 15:51 2015-10-27_15-51-15


该目录下面还可以看到LSN及backup status (增备|完备)

[root@hongxue_216 backup]# cat 2015-10-27_15-47-26/xtrabackup_checkpoints     #全备下的文件
backup_type = full-backuped   #状态为全备
from_lsn = 0                  #开始的lsn
to_lsn = 22433423896
last_lsn = 22433423896        #结束的lsn
compact = 0
recover_binlog_info = 0

[root@hongxue_216 backup]# cat 2015-10-27_15-49-17/xtrabackup_checkpoints     #第一次增备下的文件
backup_type = incremental
from_lsn = 22433423896
to_lsn = 22433423896
last_lsn = 22433423896
compact = 0
recover_binlog_info = 0

[root@hongxue_216 backup]# cat 2015-10-27_15-51-15/xtrabackup_checkpoints     #第二次增备下的文件
backup_type = incremental
from_lsn = 22433423896
to_lsn = 22433423896
last_lsn = 22433423896
compact = 0
recover_binlog_info = 0

5、查看当前MySQL中的数据库,并进行模拟故障演练及还原

(1)、查看数据库中有哪些库

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| test               |
| test1              |
| test2              |
+--------------------+
mysql> 

(2)、增量还原

在这里有三个目录:

/root/backup/2015-10-27_15-47-26/,全备目录
/root/backup/2015-10-27_15-49-17/,第一次增备目录
/root/backup/2015-10-27_15-51-15/,第二次增备目录

进行增量还原数据库。

/etc/init.d/mysqld stop            #停止数据库
rm -rf /usr/local/mysql/data/      #删除数据库

第一次还原
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/

第二次还原,带增量备份1
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/ --incrementdir=/root/backup/2015-10-27_15-49-17/

第三次还原,带增量备份2
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/ --incrementdir=/root/backup/2015-10-27_15-51-15/


下面执行最后一步,就是进行一次全量还原

创建数据目录
mkdir -p /usr/local/mysql/data                #创建数据目录

innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log /root/backup/2015-10-27_15-47-26/
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --copy-back /root/backup/2015-10-27_15-47-26/

chown -R mysql:mysql /usr/local/mysql/data/   #对数据进行赋权
/etc/init.d/mysqld start                      #启动MySQL服务


还原完启动数据库之后查看有哪些库,以及是否被还原

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| test               |
| test1              |
| test2              |
+--------------------+
6 rows in set (0.00 sec)

mysql> 
时间: 2024-10-24 03:24:31

mysql备份利器 Innobackup 大数据备份还原的相关文章

mysql-利用MySQL数据库如何解决大数据量存储问题?

问题描述 利用MySQL数据库如何解决大数据量存储问题? 各位高手您们好,我最近接手公司里一个比较棘手的问题,关于如何利用MySQL存储大数据量的问题,主要是数据库中的两张历史数据表,一张模拟量历史数据和一张开关量历史数据表,这两张表字段设计的很简单(OrderNo,Value,DataTime).基本上每张表每天可以增加几千万条数据,我想问如何存储数据才能不影响检索速度呢?需不需要换oracle数据库呢?因为我是数据库方面的新手,希望可以说的详细一点,万分感谢!!! 解决方案 查询业务是怎么样

备份宝打破中小企业数据备份的高门槛

     中小企业数据备份的现状--数据保存在硬盘甚至个人电脑 对于企业而言,信息化早已成为日常工作.业务处理和客户维护所不可或缺的部分.企业数据主要包括存储在服务器.存储等设备中的员工档案.产品资料.财务报表.客户信息.管理文件等,这些数据一旦遭到破坏或者丢失,都会给企业带来不可预估的风险和损失.也正因此,信息或者说数据理所当然的成为了每个企业发展的命脉. 2016年4月12日,追梦网和Hive创始人杜梦杰因在航班上遗失工作电脑,发布"重金酬谢"微博文章而被广泛关注,然而重金之下,遗

企业级大数据备份:十问重复数据删除技术

仅仅在几年以前,重复数据删除还是一个独立的功能,重复数据删除为企业备份和归档部门的存储系统提供另一种选择.同时也在云端网关找到了新的用途,当数据进入阵列或虚拟磁带库之前过滤掉不必要的数据块.现在,它已经成为统一计算系统预先集成的功能.而了解如何更有效的使用这项技术成为一种需求.于此同时IT经理应该重新审视存储问题并询问为其提供存储的供应商. 1. 重复数据删除技术对备份性能将产生什么影响? 对于业务成倍增长的大型企业来说高性能是至关重要的.同时企业还需在有限的备份环境内确保海量数据备份环境的安全

分享MSSQL、MySql、Oracle的大数据批量导入方法及编程手法细节

1:MSSQL SQL语法篇: BULK INSERT      [ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ]         FROM 'data_file'        [ WITH       (      [ [ , ] BATCHSIZE = batch_size ]      [ [ , ] CHECK_CONSTRAINTS ]      [ [ , ] CODEP

天猫“双十一”利器:大数据+O2O

去年"双十一",天猫用1天191亿元的交易额震撼了零售业和电商行业.毫不意外,距离"双十一"还有不到一个月的时间,各大电商网站已开始积极备战. 不过,这一次,天猫改变了玩法. 昨天(10月17日),阿里巴巴集团COO张勇在接受< 每日经济新闻>记者采访时透露,天猫将会采取"千人千面".数据引导物流,携手银泰集团首次试水O2O. 传统零售拥抱电商转型的速度正在加快."未来的商业零售模式既不同于现在的实体零售,也不会是单纯的电商

mysql中导入较大数据简单实现代码

dbhost 改为您的数据库服务器地址(小提示:一般主机默认数据库服务器地址是:localhost) dbuser 改为您的数据库用户名 password 改为您的数据库用户密码 dbname 改为您的数据库名 backup.sql表示通过ftp上传到网站根目录下数据库文件的文件名(该文件是解压缩后的文件) 1.将数据库备份文件(如backup.sql)上传至网站根目录. 2.将以下代码保存为mysql.php文件,上传至网站根目录.    代码如下 复制代码 <?php system("

简述数据中心四种数据备份方式

俗话说"不要把鸡蛋放在同一个篮子里",暗含的意义是一旦发生危险,篮子掉地,整个篮子里的鸡蛋都会被打坏,损失很大,正确的做法是将鸡蛋放到不同的篮子里,降低风险,这对于数据中心同样如此.数据中心全年不休地运行,一旦发生不可预知的灾难,对数据中心来说将是一笔不小的损失.如果造成设备损坏等有形的损失,都还好,至少还能弥补修复,但如果是宝贵的数据丢失,造成的损失则是无法计算的,所以部署有效的数据备份系统尤为重要.万一发生一些故障造成了数据丢失,还可以从备份系统中将数据还原回来,这就要使用数据备份

简述数据中心四种数据备份方式 你get到了吗?

俗话说"不要把鸡蛋放在同一个篮子里",暗含的意义是一旦发生危险,篮子掉地,整个篮子里的鸡蛋都会被打坏,损失很大,正确的做法是将鸡蛋放到不同的篮子里,降低风险,这对于数据中心同样如此.数据中心全年不休地运行,一旦发生不可预知的灾难,对数据中心来说将是一笔不小的损失.如果造成设备损坏等有形的损失,都还好,至少还能弥补修复,但如果是宝贵的数据丢失,造成的损失则是无法计算的,所以部署有效的数据备份系统尤为重要.万一发生一些故障造成了数据丢失,还可以从备份系统中将数据还原回来,这就要使用数据备份

《IT运维之道》——13.4 数据备份软件

13.4 数据备份软件 随着企业的变大.应用的不断变化和增多,服务器海量数据的不断增长,数据的体积变得越来越庞大.同时,各种数据的安全性和重要程度也越来越重要.在运行过程中大到自然灾害,小到病毒.磁盘故障乃至操作员意外操作失误,都会影响系统的正常运行,甚至造成这个系统完全瘫痪.数据备份的任务与意义就在于,当灾难或系统故障发生后,通过备份的数据完整.快速.简捷.可靠地恢复原有系统. 随着存储技术的发展,从DAS到SAN.NAS存储架构,备份技术由传统的网络架构备份模式发展到LAN Free Bac