MYSQL 大数据性能优化

批量插入优化

在网上找了一些插入大量数据性能优化资料，提到了比较重要的一点是将

Java代码  

  1. insert into tablename(f1,f2,...) values (d1,d2,...);  
  2. insert into tablename(f1,f2,...) values (d1,d2,...);  
  3. ...  

 这样的单条单条的insert语句改造成

Java代码  

  1. insert into tablename(f1,f2,...) values (d1,d2,...),(d1,d2,...),(d1,d2,...);  

这种一次insert多条记录，性能会提升比较明显，所以我就开始试验这种方法，将每条记录在代码里循环拼接成一条原生insert语句再进行插入（想想感觉可行性很高），拼接完成后依然继续插入五万条数据，拼接出来的sql语句就成了

Java代码  

  1. insert into tablename(f1,f2,...) values (d1,d2,...),(d1,d2,...),(d1,d2,...)...;//此处省略了49997条记录  

浏览器运行插入数据的页面，bong...，提示MySQL server has gone away!，mysql崩溃了。蛋疼~！然后寻思着将这五万条数据分批次进行插入，这样就不会产生数据库崩溃的情况，所以我将这五万条数据按照五千个一组分批插入，最后再运行这个页面，bong...五万条数据两秒之内就给全部插入进去了，两秒。。(这里已经去掉了前面加上的 ini_set('memory_limit','1024M');)效率跟之前比提高了几十倍，瞬间感觉整个人都变好了。又试了再插入三万条数据，1秒 之内搞定。下面贴出部分参考代码

Java代码  

  1. <?php  
  2. //下面是大于5000条数据拼接算法  
  3. $chu = floor($count / 5000); //取整  
  4. for ($i = 0; $i < $chu; $i++) {  
  5.     //每5000条数据组成一个insert语句,$codeModel是存放记录的一个数组  
  6.     $values = '';  
  7.     for ($j = $i * 5000; $j < ($i + 1) * 5000; $j++) {  
  8.         //拼接values的值  
  9.         $values .= '(' . $codeModel[$j]['rid'] . ',' . $codeModel[$j]['cid'] . ',"' . $codeModel[$j]['regcode'] . '",0,' . $codeModel[$j]['status'] . ',0,' . time() . '),';  
  10.     }  
  11.     $values = "insert into w_code (rid,cid,regcode,used_times,status,reason_id,created_at) values" . substr($values, 0, -1) . ';';  
  12.     Yii::$app->db->createCommand($values)->execute();  
  13. }  
  14. //下面是小于5000条数据拼接算法  
  15. $yu = $count % 5000; //取余  
  16. for ($k = 0; $k < $yu; $k++) {  
  17.     //echo "k:" . $k . "<br/>";  
  18. }  

另外，这些代码外层都放了事务回滚的！将多条insert放入事务中也会提升一点数据插入的性能！

 

将数据放到文件中，使用load data infile

Java代码  

  1. select * into outfile 'ddd.txt' fields terminated by ',' from dn_location;  
  2. load data infile 'ddd.txt' into table dn_location2  FIELDS TERMINATED BY ',';  

通过该方法导出的数据，是将各字段（只有数据，不导出表结构）数据存在一个文件中，中间以逗号分隔，因为文件中并不包含数据库名或者表名，因此需要在导入导出的时候些明确。该方法在18分钟内导出1.6亿条记录，46min内导入6472W条记录，平均速度：8442W条/h。mysql官方文档也说明了，该方法比一次性插入一条数据性能快20倍。

删除表大量数据

假设有一个表(syslogs)有1000万条记录，需要在业务不停止的情况下删除其中statusid=1的所有记录，差不多有600万条，直接执行

Java代码  

  1. DELETE FROM syslogs WHERE statusid=1   

会发现删除失败，因为lock wait timeout exceed的错误。因为这条语句所涉及的记录数太多，因此我们通过LIMIT参数分批删除，比如每10000条进行一次删除，那么我们可以利用 MySQL这样的语句来完成

Java代码  

  1. DELETE FROM syslogs WHERE status=1 ORDER BY statusid LIMIT 10000;  

然后分多次执行就可以把这些记录成功删除。

delete命令根本不会回收空间，也就是说之前假如这个文件占了100G ,delete后，文件大小没有改变。当全表扫描的时候，还是扫这么多的数据块。当执行完alter table 命令后，它会回收空间。假如删了80G,它的物理文件会只占20G空间。

Java代码  

  1. alter table table_name engine=innodb;     

当您的库中删除了大量的数据后，您可能会发现数据文件尺寸并没有减小。这是因为删除操作后在数据文件中留下碎片所致。OPTIMIZE TABLE 是指对表进行优化。如果已经删除了表的一大部分数据，或者如果已经对含有可变长度行的表（含有 VARCHAR 、 BLOB 或 TEXT 列的表）进行了很多更改，就应该使用 OPTIMIZE TABLE 命令来进行表优化。这个命令可以将表中的空间碎片进行合并，并且可以消除由于删除或者更新造成的空间浪费 。OPTIMIZE TABLE 命令只对 MyISAM 、 BDB 和 InnoDB 表起作用 。表优化的工作可以每周或者每月定期执行，对提高表的访问效率有一定的好处，但是需要注意的是，优化表期间会锁定表，所以一定要安排在空闲时段进行。

一，原始数据

Java代码  

  1. mysql> select count(*) as total from ad_visit_history;  
  2. +---------+  
  3. | total   |  
  4. +---------+  
  5. | 1187096 |                      //总共有118万多条数据  
  6. +---------+  
  7. 1 row in set (0.04 sec)  

 2，存放在硬盘中的表文件大小

Java代码  

  1. [root@BlackGhost test1]# ls |grep visit |xargs -i du {}  
  2. 382020    ad_visit_history.MYD                    //数据文件占了380M  
  3. 127116    ad_visit_history.MYI                     //索引文件占了127M  
  4. 12    ad_visit_history.frm                              //结构文件占了12K  

 3，查看一下索引信息

Java代码  

  1. mysql> show index from ad_visit_history from test1;     //查看一下该表的索引信息  
  2. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+  
  3. | Table            | Non_unique | Key_name          | Seq_in_index | Column_name   | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |  
  4. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+  
  5. | ad_visit_history |          0 | PRIMARY           |            1 | id            | A         |     1187096 |     NULL | NULL   |      | BTREE      |         |  
  6. | ad_visit_history |          1 | ad_code           |            1 | ad_code       | A         |          46 |     NULL | NULL   | YES  | BTREE      |         |  
  7. | ad_visit_history |          1 | unique_id         |            1 | unique_id     | A         |     1187096 |     NULL | NULL   | YES  | BTREE      |         |  
  8. | ad_visit_history |          1 | ad_code_ind       |            1 | ad_code       | A         |          46 |     NULL | NULL   | YES  | BTREE      |         |  
  9. | ad_visit_history |          1 | from_page_url_ind |            1 | from_page_url | A         |       30438 |     NULL | NULL   | YES  | BTREE      |         |  
  10. | ad_visit_history |          1 | ip_ind            |            1 | ip            | A         |      593548 |     NULL | NULL   | YES  | BTREE      |         |  
  11. | ad_visit_history |          1 | port_ind          |            1 | port          | A         |       65949 |     NULL | NULL   | YES  | BTREE      |         |  
  12. | ad_visit_history |          1 | session_id_ind    |            1 | session_id    | A         |     1187096 |     NULL | NULL   | YES  | BTREE      |         |  
  13. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+  
  14. 8 rows in set (0.28 sec)  

索引信息中的列的信息说明。

Table :表的名称。
Non_unique :如果索引不能包括重复词，则为0。如果可以，则为1。
Key_name :索引的名称。
Seq_in_index :索引中的列序列号，从1开始。
Column_name :列名称。
Collation :列以什么方式存储在索引中。在MySQLSHOW INDEX语法中，有值’A’（升序）或NULL（无分类）。
Cardinality :索引中唯一值的数目的估计值。通过运行ANALYZE TABLE或myisamchk -a可以更新。基数根据被存储为整数的统计数据来计数，所以即使对于小型表，该值也没有必要是精确的。基数越大，当进行联合时，MySQL使用该索引的机会就越大。
Sub_part :如果列只是被部分地编入索引，则为被编入索引的字符的数目。如果整列被编入索引，则为NULL。
Packed :指示关键字如何被压缩。如果没有被压缩，则为NULL。
Null :如果列含有NULL，则含有YES。如果没有，则为空。
Index_type ：存储索引数据结构方法（BTREE, FULLTEXT, HASH, RTREE）

二，删除一半数据

Java代码  

  1. mysql> delete from ad_visit_history where id>598000;          //删除一半数据  
  2. Query OK, 589096 rows affected (4 min 28.06 sec)  
  3.   
  4. [root@BlackGhost test1]# ls |grep visit |xargs -i du {}              //相对应的MYD，MYI文件大小没有变化  
  5. 382020    ad_visit_history.MYD   
  6. 127116    ad_visit_history.MYI  
  7. 12    ad_visit_history.frm  

按常规思想来说，如果在数据库中删除了一半数据后，相对应的.MYD,.MYI文件也应当变为之前的一半。但是删除一半数据后，.MYD.MYI尽然连1KB都没有减少 ，这是多么的可怕啊。

我们在来看一看，索引信息

Java代码  

  1. mysql> show index from ad_visit_history;    
  2. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+    
  3. | Table            | Non_unique | Key_name          | Seq_in_index | Column_name   | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |    
  4. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+    
  5. | ad_visit_history |          0 | PRIMARY           |            1 | id            | A         |      598000 |     NULL | NULL   |      | BTREE      |         |    
  6. | ad_visit_history |          1 | ad_code           |            1 | ad_code       | A         |          23 |     NULL | NULL   | YES  | BTREE      |         |    
  7. | ad_visit_history |          1 | unique_id         |            1 | unique_id     | A         |      598000 |     NULL | NULL   | YES  | BTREE      |         |    
  8. | ad_visit_history |          1 | ad_code_ind       |            1 | ad_code       | A         |          23 |     NULL | NULL   | YES  | BTREE      |         |    
  9. | ad_visit_history |          1 | from_page_url_ind |            1 | from_page_url | A         |       15333 |     NULL | NULL   | YES  | BTREE      |         |    
  10. | ad_visit_history |          1 | ip_ind            |            1 | ip            | A         |      299000 |     NULL | NULL   | YES  | BTREE      |         |    
  11. | ad_visit_history |          1 | port_ind          |            1 | port          | A         |       33222 |     NULL | NULL   | YES  | BTREE      |         |    
  12. | ad_visit_history |          1 | session_id_ind    |            1 | session_id    | A         |      598000 |     NULL | NULL   | YES  | BTREE      |         |    
  13. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+    
  14. 8 rows in set (0.00 sec)    

对比一下，这次索引查询和上次索引查询，里面的数据信息基本上是上次一次的一本，这点还是合乎常理。

三，用optimize table来优化一下

Java代码  

  1. mysql> optimize table ad_visit_history;                                             //删除数据后的优化  
  2. +------------------------+----------+----------+----------+  
  3. | Table                  | Op       | Msg_type | Msg_text |  
  4. +------------------------+----------+----------+----------+  
  5. | test1.ad_visit_history | optimize | status   | OK       |  
  6. +------------------------+----------+----------+----------+  
  7. 1 row in set (1 min 21.05 sec)  

 1，查看一下.MYD,.MYI文件的大小

Java代码  

  1. [root@BlackGhost test1]# ls |grep visit |xargs -i du {}  
  2. 182080    ad_visit_history.MYD                                          //数据文件差不多为优化前的一半  
  3. 66024    ad_visit_history.MYI                                             //索引文件也一样，差不多是优化前的一半  
  4. 12    ad_visit_history.frm  

 2，查看一下索引信息

Java代码  

  1. mysql> show index from ad_visit_history;    
  2. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+    
  3. | Table            | Non_unique | Key_name          | Seq_in_index | Column_name   | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |    
  4. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+    
  5. | ad_visit_history |          0 | PRIMARY           |            1 | id            | A         |      598000 |     NULL | NULL   |      | BTREE      |         |    
  6. | ad_visit_history |          1 | ad_code           |            1 | ad_code       | A         |          42 |     NULL | NULL   | YES  | BTREE      |         |    
  7. | ad_visit_history |          1 | unique_id         |            1 | unique_id     | A         |      598000 |     NULL | NULL   | YES  | BTREE      |         |    
  8. | ad_visit_history |          1 | ad_code_ind       |            1 | ad_code       | A         |          42 |     NULL | NULL   | YES  | BTREE      |         |    
  9. | ad_visit_history |          1 | from_page_url_ind |            1 | from_page_url | A         |       24916 |     NULL | NULL   | YES  | BTREE      |         |    
  10. | ad_visit_history |          1 | ip_ind            |            1 | ip            | A         |      598000 |     NULL | NULL   | YES  | BTREE      |         |    
  11. | ad_visit_history |          1 | port_ind          |            1 | port          | A         |       59800 |     NULL | NULL   | YES  | BTREE      |         |    
  12. | ad_visit_history |          1 | session_id_ind    |            1 | session_id    | A         |      598000 |     NULL | NULL   | YES  | BTREE      |         |    
  13. +------------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+    
  14. 8 rows in set (0.00 sec)    

从以上数据我们可以得出，ad_code，ad_code_ind，from_page_url_ind等索引机会差不多都提高了85％，这样效率提高了好多。

四，小结

结合mysql官方网站的信息，个人是这样理解的。当你删除数据 时，mysql并不会回收，被已删除数据的占据的存储空间，以及索引位。而是空在那里，而是等待新的数据来弥补这个空缺，这样就有一个缺少，如果一时半 会，没有数据来填补这个空缺，那这样就太浪费资源了。所以对于写比较频烦的表，要定期进行optimize，一个月一次，看实际情况而定了。

举个例子来说吧。有100个php程序员辞职了，但是呢只是人走了，php的职位还在那里，这些职位不会撤销，要等新的php程序来填补这些空位。招一个好的程序员，比较难。我想大部分时间会空在那里。哈哈。

五，手册中关于OPTIMIZE的一些用法和描述

OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...

如果您已经删除了表的一大部分，或者如果您已经对含有可变长度行的表（含有VARCHAR, BLOB或TEXT列的表）进行了很多更改，则应使用OPTIMIZE TABLE。被删除的记录被保持在链接清单中，后续的INSERT操作会重新使用旧的记录位置。您可以使用OPTIMIZE TABLE来重新利用未使用的空间，并整理数据文件的碎片。在多数的设置中，您根本不需要运行OPTIMIZE TABLE。即使您对可变长度的行进行了大量的更新，您也不需要经常运行，每周一次或每月一次即可，只对特定的表运行。

OPTIMIZE TABLE只对MyISAM, BDB和InnoDB表起作用。注意，在OPTIMIZE TABLE运行过程中，MySQL会锁定表。

时间： 2024-09-17 04:38:05

MYSQL 大数据性能优化的相关文章

MySQL 大数据量快速插入方法和语句优化

MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容,接下来我们就来一一介绍,希望能够让您有所收获! 一.INSERT语句的速度 插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例: 连接:(3) 发送查询给服务器:(2) 分析查询:(2) 插入记录:(1x记录大小) 插入索引:(1x索引) 关闭:(1) 这不考虑打开表的初始开销,每个并发运行的查询打开. 表的大小以logN (B树)的速度减慢索引的插入. 加快插入的一些方法 如果同时从同一个客户端插入很多行,使用含多个

MySQL order by性能优化方法实例

  这篇文章主要介绍了MySQL order by性能优化方法实例,本文讲解了MySQL中order by的原理和优化order by的三种方法,需要的朋友可以参考下 前言 工作过程中,各种业务需求在访问数据库的时候要求有order by排序.有时候不必要的或者不合理的排序操作很可能导致数据库系统崩溃.如何处理好order by排序呢?本文从原理以及优化层面介绍 order by . 一 MySQL中order by的原理 1 利用索引的有序性获取有序数据 当查询语句的 order BY 条件和

MySQL延迟关联性能优化方法

  这篇文章主要介绍了MySQL延迟关联性能优化方法,本文讲解了延迟关联的背景.延迟关联的分析.延迟关联的解决等内容,需要的朋友可以参考下 [背景] 某业务数据库load 报警异常,cpu usr 达到30-40 ,居高不下.使用工具查看数据库正在执行的sql ,排在前面的大部分是: 代码如下: SELECT id, cu_id, name, info, biz_type, gmt_create, gmt_modified,start_time, end_time, market_type, b

mysql大内存高性能优化方案

8G内存下MySQL的优化 按照下面的设置试试看: key_buffer = 3840M max_allowed_packet = 16M table_cache = 1024 sort_buffer_size = 32M read_buffer_size = 32M read_rnd_buffer_size = 32M myisam_sort_buffer_size = 256M thread_cache_size = 32 query_cache_size = 256M # Try numb

Mysql大数据量存储及访问的设计讨论

一.引言 随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题.对于一个大型的互联网应用,每天几十亿的PV无疑对数据库造成了相当高的负载.对于系统的稳定性和扩展性造成了极大的问题.通过数据切分来提高网站性能,横向扩展数据层已经成为架构研发人员首选的方式.水平切分数据库,可以降低单台机器的负载,同时最大限度的降低了了宕机造成的损失.通过负载均衡策略,有效的降低了单台机器的访问负载,降低了宕机的可能性:通过集群方案,解决了数据库宕机带来的单点数据库不能访问的问题:通过读写分离策略更

大数据驱动性能优化

本文示例以PC的优化端为例,目前AE在这块的工作还主要在PC端,但文中的方法对无线端完全适用 1. 概念 1.1 什么是大数据驱动性能优化? 性能优化其实就是用各种可行的优化手段降低页面Latency,从而提升用户体验.通常会遇到如下困难: Latency降低了,真的提升了用户体验吗? 在AE的性能优化的灰度实验中,遇到了性能提升,转化率反而下降的情况,最后大家猛然醒悟,如果我的优化根本就是用户不可见的呢?比如减少了某个异步资源的加载,这个异步加载会降低pageload,但它可能就是一个用于统计

【AliExpress】大数据驱动性能优化

该文章来自阿里巴巴技术协会(ATA) 本文示例以PC的优化端为例,目前AE在这块的工作还主要在PC端,但文中的方法对无线端完全适用 1. 概念 1.1 什么是大数据驱动性能优化? 性能优化其实就是用各种可行的优化手段**降低页面Latency,从而提升用户体验**.通常会遇到如下困难: Latency降低了,真的提升了用户体验吗? 在AE的性能优化的灰度实验中,遇到了性能提升,转化率反而下降的情况,最后大家猛然醒悟,如果我的优化根本就是用户不可见的呢?比如减少了某个异步资源的加载,这个异步加载会

php 在线导入mysql大数据程序

 php 在线导入 mysql 大数据程序 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 <?php header("content-type:text/html;charset=utf-8"); e

MySQL 大数据操作注意事项

MySQL 大数据操作注意事项 http://netkiller.github.io/journal/mysql.parallel.html Mr. Neo Chen (netkiller), 陈景峰(BG7NYT) 中国广东省深圳市龙华新区民治街道溪山美地518131+86 13113668890+86 755 29812080<netkiller@msn.com> 版权 2011, 2012, 2013, 2014 http://netkiller.github.io 版权声明 转载请与作