mydumper myloader表分块导入导出

  mydumper与myloader是一个优秀的第三方mysql数据库逻辑备份恢复工具，使用多线程的导出与导入。弥补了mysqldump单线程的不足。本文描述的是如何加快mydumper与myloader的导出与导入供大家参考。

    有关mydumper与myloader其他事项可以参考：
        mydumper安装及安装故障汇总
        mydumper备份mysql数据库示例        myloader恢复mysql数据库示例

1、基于MyIsam引擎导出导入
a、表不分块导出及导入
[root@GZAPP tmp]# mydumper -u inno -p xxx -B bsom -T tb_access_log -o /backup/tmp/
[root@GZAPP tmp]# ls -hltr   ###导出的数据文件为单个文件，大小在2.6GB
total 2.6G
-rw-r--r-- 1 root root 1.6K Jul 24 08:51 bsom.tb_access_log-schema.sql
-rw-r--r-- 1 root root  214 Jul 24 08:52 metadata
-rw-r--r-- 1 root root 2.6G Jul 24 08:52 bsom.tb_access_log.sql

###基于缺省线程数导入，且设定每个事务查询数为10000，此参数此时其实作用不大，因为表为myisam引擎
[root@GZAPP tmp]# myloader -u inno -p xxx -B tempdb -d /backup/tmp -v 3 -q 10000
[root@GZAPP tmp]# myloader -u inno -p xxx -B tempdb -d /backup/tmp -v 3 -q 10000
** Message: 4 threads created
** Message: Creating table `tempdb`.`tb_access_log`
** Message: Thread 4 shutting down
** Message: Thread 1 restoring `bsom`.`tb_access_log` part 0
** Message: Thread 3 shutting down
** Message: Thread 2 shutting down

root@localhost[tempdb]> show processlist;
+---------+---------+----------+--------+---------+--------+---------+------------------------------------------------+
| Id      | User    | Host     | db     | Command | Time   | State   | Info                                           |
+---------+---------+----------+--------+---------+--------+---------+------------------------------------------------+
| 4452079 | root    | localhost| tempdb | Query   |      0 | init    | show processlist                               |
| 4453793 | inno    | localhost| tempdb | Sleep   |    420 |         | NULL                                           |
| 4453794 | inno    | localhost| tempdb | Query   |      4 | update  | INSERT INTO `tb_access_log` VALUES (506873,"325|
+---------+---------+----------+--------+---------+--------+---------+------------------------------------------------+
###从上面的线程数可以看出只有一个单线程在执行insert操作

b、表分块导出及导入
###下面的示例中使用500MB进行分块
[root@GZAPP tmp]# mydumper -u inno -p xxx -B bsom -T tb_access_log -F 500 -o /backup/tmp/
[root@GZAPP tmp]# ls -hltr
total 2.6G      
-rw-r--r-- 1 root root 1.6K Jul 24 08:21 bsom.tb_access_log-schema.sql
-rw-r--r-- 1 root root 478M Jul 24 08:21 bsom.tb_access_log.00001.sql
-rw-r--r-- 1 root root 478M Jul 24 08:21 bsom.tb_access_log.00002.sql
-rw-r--r-- 1 root root 478M Jul 24 08:21 bsom.tb_access_log.00003.sql
-rw-r--r-- 1 root root 478M Jul 24 08:21 bsom.tb_access_log.00004.sql
-rw-r--r-- 1 root root 478M Jul 24 08:22 bsom.tb_access_log.00005.sql
-rw-r--r-- 1 root root  214 Jul 24 08:22 metadata
-rw-r--r-- 1 root root 241M Jul 24 08:22 bsom.tb_access_log.00006.sql
###由上可知，大表tb_access_log按接近500M被分割成了多个文件

[root@GZAPP tmp]# myloader -u inno -p xxx -B tempdb -t 6 -d /backup/tmp -v 3
** Message: 6 threads created
** Message: Creating database `tempdb`
** Message: Creating table `tempdb`.`tb_access_log`
** Message: Thread 1 restoring `bsom`.`tb_access_log` part 3
** Message: Thread 2 restoring `bsom`.`tb_access_log` part 5
** Message: Thread 5 restoring `bsom`.`tb_access_log` part 4
** Message: Thread 3 restoring `bsom`.`tb_access_log` part 6
** Message: Thread 4 restoring `bsom`.`tb_access_log` part 1
** Message: Thread 6 restoring `bsom`.`tb_access_log` part 2

#在下面的processlist可以看到，存在表级锁等待
+---------+-------+-----------+---------+---------+--------+-----------------------------+------------------------------------------------+
| Id      | User  | Host      | db      | Command | Time   | State                       | Info                                           |
+---------+-------+-----------+---------+---------+--------+-----------------------------+------------------------------------------------+
| 4452079 | root  | localhost | bsom    | Query   |      0 | init                        | show processlist                               |
| 4452167 | inno  | localhost | tempdb  | Sleep   |    769 |                             | NULL                                           |
| 4452168 | inno  | localhost | tempdb  | Query   |     36 | update                      | INSERT INTO `tb_access_log` VALUES (6367402,"0,|
| 4452169 | inno  | localhost | tempdb  | Query   |     21 | Waiting for table level lock| INSERT INTO `tb_access_log` VALUES (12593865," |
| 4452170 | inno  | localhost | tempdb  | Query   |     26 | Waiting for table level lock| INSERT INTO `tb_access_log` VALUES (15643029,""|
| 4452171 | inno  | localhost | tempdb  | Query   |      6 | Waiting for table level lock| INSERT INTO `tb_access_log` VALUES (173947,"70 |
| 4452172 | inno  | localhost | tempdb  | Query   |     15 | Waiting for table level lock| INSERT INTO `tb_access_log` VALUES (9490507,"7 |
| 4452173 | inno  | localhost | tempdb  | Query   |     30 | Waiting for table level lock| INSERT INTO `tb_access_log` VALUES (3271602,"4 |
+---------+---------+-----------+---------+---------+--------+-----------------------------+----------------------------------------------+

c、调整myisam有关参数后导入
[root@GZ-APP-BAK01 tmp]# time myloader -u innobk -p InnoBK -B tempdb -t 6 -d /backup/tmp -v 3
** Message: 6 threads created
** Message: Creating table `tempdb`.`tb_mobile_access_log`
** Message: Thread 1 restoring `blossom`.`tb_mobile_access_log` part 3
** Message: Thread 6 restoring `blossom`.`tb_mobile_access_log` part 6
** Message: Thread 2 restoring `blossom`.`tb_mobile_access_log` part 5
** Message: Thread 3 restoring `blossom`.`tb_mobile_access_log` part 4
** Message: Thread 4 restoring `blossom`.`tb_mobile_access_log` part 1
** Message: Thread 5 restoring `blossom`.`tb_mobile_access_log` part 2
** Message: Thread 6 shutting down
** Message: Thread 5 shutting down
** Message: Thread 1 shutting down
** Message: Thread 2 shutting down
** Message: Thread 4 shutting down
** Message: Thread 3 shutting down

real    266m28.903s
user    0m6.008s
sys     0m1.681s

###调整以下相关参数，后尝试再次导入，
concurrent_insert  AUTO 改成 ALWAYS
bulk_insert_buffer_size 8388608 改成 256M
myisam_sort_buffer_size 67108864 改成 128M

[root@GZ-APP-BAK01 tmp]# time myloader -u innobk -p InnoBK -B tempdb -t 6 -o -d /backup/tmp -v 3
** Message: 6 threads created
** Message: Dropping table (if exists) `tempdb`.`tb_mobile_access_log`
** Message: Creating table `tempdb`.`tb_mobile_access_log`
** Message: Thread 1 restoring `blossom`.`tb_mobile_access_log` part 3
** Message: Thread 2 restoring `blossom`.`tb_mobile_access_log` part 6
** Message: Thread 3 restoring `blossom`.`tb_mobile_access_log` part 5
** Message: Thread 4 restoring `blossom`.`tb_mobile_access_log` part 4
** Message: Thread 6 restoring `blossom`.`tb_mobile_access_log` part 1
** Message: Thread 5 restoring `blossom`.`tb_mobile_access_log` part 2
** Message: Thread 2 shutting down
** Message: Thread 1 shutting down
** Message: Thread 6 shutting down
** Message: Thread 5 shutting down
** Message: Thread 3 shutting down
** Message: Thread 4 shutting down

real    253m42.460s   ###此时导入时间并无明显减少
user    0m5.924s
sys     0m1.637s

2、基于innodb引擎的导出导入
a、表未分块导出，数据文件大小为3.9GB
[root@GZAPP tmp]# ls -hltr
total 3.9G
-rw-r--r-- 1 root root 1.8K Jul 24 00:09 bscom.tb_message-schema.sql
-rw-r--r-- 1 root root 3.9G Jul 24 00:25 bscom.tb_message.sql
-rw-r--r-- 1 root root  215 Jul 24 09:14 metadata

###下面使用6个线程导入，实际上可以看到，只有1个线程在工作，因为数据文件只有1个
[root@GZAPP tmp]# myloader -u inno -p xxx -B tempdb -t 6 -d /backup/tmp -v 3
** Message: 6 threads created
** Message: Creating table `tempdb`.`tb_message`
** Message: Thread 1 restoring `bscom`.`tb_message` part 0
** Message: Thread 5 shutting down
** Message: Thread 2 shutting down
** Message: Thread 6 shutting down
** Message: Thread 3 shutting down
** Message: Thread 4 shutting down

b、表分块导出
[root@GZAPP tmp]# mydumper -u inno -p xxx -B bscom -T tb_message -F 500 -o /backup/tmp/
[root@GZAPP tmp]# ls -hltr
total 3.9G
-rw-r--r-- 1 root root 1.8K Jul 24 09:55 bscom.tb_message-schema.sql
-rw-r--r-- 1 root root 478M Jul 24 09:55 bscom.tb_message.00001.sql
-rw-r--r-- 1 root root 478M Jul 24 09:55 bscom.tb_message.00002.sql
-rw-r--r-- 1 root root 478M Jul 24 09:55 bscom.tb_message.00003.sql
-rw-r--r-- 1 root root 478M Jul 24 09:55 bscom.tb_message.00004.sql
-rw-r--r-- 1 root root 478M Jul 24 09:55 bscom.tb_message.00005.sql
-rw-r--r-- 1 root root 478M Jul 24 09:55 bscom.tb_message.00006.sql
-rw-r--r-- 1 root root 478M Jul 24 09:55 bscom.tb_message.00007.sql
-rw-r--r-- 1 root root 481M Jul 24 09:55 bscom.tb_message.00008.sql
-rw-r--r-- 1 root root  135 Jul 24 09:55 metadata
-rw-r--r-- 1 root root  93M Jul 24 09:55 bscom.tb_message.00009.sql

###下面尝试使用6线程导入，可以看到有6个线程在并发导入
[root@GZAPP tmp]# myloader -u inno -p xxx -B tempdb -t 6 -d /backup/tmp/ -v 3
** Message: 6 threads created
** Message: Creating database `tempdb`
** Message: Creating table `tempdb`.`tb_message`
** Message: Thread 2 restoring `bscom`.`tb_message` part 5
** Message: Thread 1 restoring `bscom`.`tb_message` part 9
** Message: Thread 3 restoring `bscom`.`tb_message` part 1
** Message: Thread 4 restoring `bscom`.`tb_message` part 8
** Message: Thread 5 restoring `bscom`.`tb_message` part 4
** Message: Thread 6 restoring `bscom`.`tb_message` part 6
** Message: Thread 1 restoring `bscom`.`tb_message` part 7
** Message: Thread 6 restoring `bscom`.`tb_message` part 3
** Message: Thread 2 restoring `bscom`.`tb_message` part 2
** Message: Thread 3 shutting down
** Message: Thread 5 shutting down
** Message: Thread 4 shutting down
** Message: Thread 1 shutting down
** Message: Thread 2 shutting down
** Message: Thread 6 shutting down

3、小结
a、mydumper在导出的时候可以根据服务器可用资源来合理地设置线程数。
b、mydumper在导出的时候尽可能地指定chunk-filesize或者rows参数以分块导出。
c、myloader在针对myisam引擎时建议调整相关参数至合理值以提高无法提高性能，主要是表级锁的问题。
d、myloader在针对innodb引擎时建议调整参数至合理值以提高性能，如以下参数等：
  innodb_buffer_pool_size
  innodb_flush_log_at_trx_commit
  innodb_log_buffer_size
e、通过使用分块导出与导入可以显著利用并发来加快inndbo表导入。  
f、注意mydumper导出时不会导出存储过程，函数，触发器等。

时间： 2025-01-11 12:25:09

mydumper myloader表分块导入导出的相关文章

oracle表记录导入导出-oracle数据库的几张表的记录导入导出

问题描述 oracle数据库的几张表的记录导入导出 在项目组,为了实现把oracle数据库中几张表的数据从一个生产环境导出再导入另一个生产环境,怎样通过前台页面来实现导入导出功能? 解决方案 前台页面来写的话,就得在后台来实现一个将数据导出到文本的接口(查全部,导入成txt.或excel) 同时,还要实现一个从文本直接加载到数据库的接口(或读文件,批量插入)

外部表的导入导出问题

今天尝试了一下用exp导出外部表,碰到了一些问题. ----导出 今天导出的时候发现一个严重的问题,导出一个很小的外部表花了很长时间,最后还是报错,而且生成的dump文件有好几个G [oracle@oel1 ~]$ exp hr/hr file=hr.dmp log=hr.log Export: Release 10.2.0.1.0 - Production on Fri May 31 21:23:49 2013 Copyright (c) 1982, 2005, Oracle.  All ri

导入导出注册表项的类

最近因为工作的需要,要对注册表项进行备份恢复,于是我就去了解了一下注册表的相关内容.原本我打算用RegSaveKey和RegRestoreKey来进行备份恢复.可是在使用过程中发现这两个函数使用起来非常麻烦,于是就寻找别的解决方法.经过一段时间的努力,我最终完成了注册表项导入导出的功能.这个类简介如下: 一.读取注册表项的各个键值,然后写到文件中 void ExportRegistry( CString cstrKeyRootName, //注册表根值,如HKEY_CURRENT_USER CS

DB2文件导入导出常见命令总结

    Db2 的数据迁移,最常用的就是导入导出功能,而导入导出的命令貌似简单,实则内含玄机,千变万化,稍不留神,则错误百出,这儿就工作中常用到的命令,总结了一下,分享给大家!欢迎大家踊跃拍砖!J    当然在这以前,我觉得有必要提及一点关于导入导出基础的知识!    DEL:界定的ASCII文件,行分隔符和列分隔符将数据分开.    ASC:定长的ASCII文件,行按照行分割符分开,列定长.    PC/IXF:只能用来在db2之间导数据,根据类型数字值被打包成十进制或者二进制,字符被保存为A

导入导出 Oracle 分区表数据

--**************************** -- 导入导出 Oracle 分区表数据 --****************************         导入导入Oracle 分区表数据是Oracle DBA 经常完成的任务之一.分区表的导入导出同样普通表的导入导出方式,只不过导入导出需要考 虑到分区的特殊性,如分区索引,将分区迁移到普通表,或使用原始分区表导入到新的分区表.下面将描述使用imp/exp,impdp/expdp导入导出 分区表数据.       有关分

单表导入/导出文本文件

/*--实现数据导入/导出的存储过程  可以实现导入/导出 指定表 到文本文件 支持自定义行/列分隔符 --邹建 2003.07--*/ /*--调用示例导出调用示例--导出指定表,这里指定导出表:地区资料exec file2table 'zj','','','c:\zj.txt','xzkh_new..地区资料',@rowsplit=',' 导入调用示例--导入指定表,这里指定导入表:地区资料exec file2table 'zj','','','c:\zj.txt','xzkh_sa..地区

PROC＋＋批量导入导出ORACLE数据库表

oracle|数据|数据库 最近在开发一个项目中,为了解决数据库IO瓶颈,不得不把数据库中的数据导出为文本文件.文本传到客户端后又要导入到数据库.本人用C++Builder嵌入PROC++写了一个导入导出的DLL.如果对你有用深感荣幸!详细内容如下:   一.准备工作 计算机环境:Win 2000 PRO,ORACLE 9i,C++ Builder 5.5 引入必要的ORACLE内部函数:要用的函数在$(ORACEL_HOME)\bin qlora9.dll链接库中.为了能在C++ Builde

Oracle启动、建立表空间、用户、授权、数据库导入导出使用教程

  数据库最基本的操作就是数据的导入导出及建立表空间.用户.授权了,今天小编也为各位介绍一下关于Oracle启动.建立表空间.用户.授权.数据库导入导出的命令吧. **启动**1.启动数据库实例,分为两步:第一步,启动监听;第二步,启动数据库实例. 1.1进入到sqlplus启动实例{{{ [oracle@redhat ~]$ su - oracle --"切换到oracle用户" [oracle@redhat ~]$ lsnrctl start --"打开监听"

导入导出oracle数据库表的dmp文件

  通过导入导出dmp文件,可以把一个或多个数据库表的表结构和表数据同时导入导出.下面来讲述一下如何进行导入导出. 先进入命令行,点击开始,输入cmd: 回车,出现命令行窗口: 导入的命令是:imp 用户名/密码@网络服务名 file=xxx.dmp full=y; 如: 导出的命令是:exp 用户名/密码@网络服务名 file=xxx.dmp tables=(表名); 如: 小贴士:导出多个表时,表名使用逗号隔开如: tables=(table1,table2,table3). 经过这四步,就