mysql的分区技术详细介绍

   一、概述

  当 MySQL的总记录数超过了100万后,会出现性能的大幅度下降吗?答案是肯定的,但是,性能下降>的比率不一而同,要看系统的架构、应用程序、还有>包括索引、服务器硬件等多种因素而定。当有网友问我这个问题的时候,我最常见的回答>就是:分表,可以根据id区间或者时间先后顺序等多种规则来分表。分表很容易,然而由此所带来的应用程序甚至是架构方面的改动工作却不>容小觑,还包括将来的扩展性等。

  在以前,一种解决方案就是使用 MERGE

  类型,这是一个非常方便的做饭。架构和程序基本上不用做改动,不过,它的缺点是显见的:

  1.只能在相同结构的 MyISAM 表上使用

  2.无法享受到 MyISAM 的全部功能,例如无法在 MERGE 类型上执行 FULLTEXT 搜索

  3.它需要使用更多的文件描述符

  4.读取索引更慢

  这个时候,MySQL 5.1 中新增的分区(Partition)功能的优势也就很明显了:

  1.与单个磁盘或文件系统分区相比,可以存储更多的数据

  2.很容易就能删除不用或者过时的数据

  3.一些查询可以得到极大的优化

  4.涉及到 SUM()/COUNT() 等聚合函数时,可以并行进行

  5.IO吞吐量更大

  分区允许可以设置为任意大小的规则,跨文件系统分配单个表的多个部分。实际上,表的不同部分在不同的位置被存储为单独的表。

  分区应该注意的事项:

  1、 做分区时,要么不定义主键,要么把分区字段加入到主键中。

  2、 分区字段不能为NULL,要不然怎么确定分区范围呢,所以尽量NOT NULL

  二、分区的类型

  1.RANGE 分区:基于属于一个给定连续区间的列值,把多行分配给分区。

  2.LIST 分区:类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。

  2.HASH分区:基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包>含MySQL中有效的、产生非负整数值的任何表达式。

  3.KEY分区:类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含>整数值。

  可以通过使用SHOW VARIABLES命令来确定MySQL是否支持分区,例如:

  代码如下:

  mysql> SHOW VARIABLES LIKE '%partition%';

  +-----------------------+-------+

  | Variable_name | Value |

  +-----------------------+-------+

  | have_partition_engine | YES |

  +-----------------------+-------+

  1 row in set (0.00 sec)

  代码如下:

  mysql> SHOW VARIABLES LIKE '%partition%';

  +-----------------------+-------+

  | Variable_name | Value |

  +-----------------------+-------+

  | have_partition_engine | YES |

  +-----------------------+-------+

  1 row in set (0.00 sec)

  1、range分区

  代码如下:

  create table t_range(

  id int(11),

  money int(11) unsigned not null,

  date datetime

  )partition by range(year(date))(

  partition p2007 values less than (2008),

  partition p2008 values less than (2009),

  partition p2009 values less than (2010)

  partition p2010 values less than maxvalue

  );

  2.list分区

  代码如下:

  create table t_list(

  a int(11),

  b int(11)

  )(partition by list (b)

  partition p0 values in (1,3,5,7,9),

  partition p1 values in (2,4,6,8,0)

  );

  对于innodb和myisam引擎,一条语句插入多条记录的时候,如果中间有值不能插入,innodb会全部回滚,myisam在错误值之前的数据可以插入到表中。对于innodb和myisam引擎,一条语句插入多条记录的时候,如果中间有值不能插入,innodb会全部回滚,myisam在错误值之前的数据可以插入到表中。

  3.hash分区

  hash分区的目的是将数据均匀的分布到预先定义的各个分区中,保证各分区的数据量大致一致。

  代码如下:

  create table t_hash(

  a int(11),

  b datetime

  )partition by hash (YEAR(b)

  partitions 4;

  hash的分区函数页需要返回一个整数值。partitions子句中的值是一个非负整数,不加的partitions子句的话,默认为分区数为1。

  4.key分区

  key分区和hash分区相似,不同在于hash分区是用户自定义函数进行分区,key分区使用mysql数据库提供的函数进行分区,NDB cluster使用MD5函数来分区,对于其他存储引擎mysql使用内部的hash函数,这些函数基于password()一样的算法。

  代码如下:

  create table t_key(

  a int(11),

  b datetime)

  partition by key (b)

  partitions 4;

  5。columns分区

  上面的RANGE、LIST、HASH、KEY四种分区中,分区的条件必须是整形,如果不是整形需要通过函数将其转换为整形。

  mysql-5.5开始支持COLUMNS分区,可视为RANGE和LIST分区的进化,COLUMNS分区可以直接使用非整形数据进行分区。COLUMNS分区支持以下数据类型:

  所有整形,如INT SMALLINT TINYINT BIGINT。FLOAT和DECIMAL则不支持。

  日期类型,如DATE和DATETIME。其余日期类型不支持。

  字符串类型,如CHAR、VARCHAR、BINARY和VARBINARY。BLOB和TEXT类型不支持。

  COLUMNS可以使用多个列进行分区。

  新增分区

  代码如下:

  mysql> ALTER TABLE sale_data

  -> ADD PARTITION (PARTITION p201010 VALUES LESS THAN (201011));

  Query OK, 0 rows affected (0.36 sec)

  Records: 0 Duplicates: 0 Warnings: 0

  删除分区

  代码如下:

  --当删除了一个分区,也同时删除了该分区中所有的数据。

  mysql> ALTER TABLE sale_data DROP PARTITION p201010;

  Query OK, 0 rows affected (0.22 sec)

  Records: 0 Duplicates: 0 Warnings: 0

  分区的合并

  下面的SQL,将p201001 - p201009 合并为3个分区p2010Q1 - p2010Q3

  代码如下:

  mysql> ALTER TABLE sale_data

  -> REORGANIZE PARTITION p201001,p201002,p201003,

  -> p201004,p201005,p201006,

  -> p201007,p201008,p201009 INTO

  -> (

  -> PARTITION p2010Q1 VALUES LESS THAN (201004),

  -> PARTITION p2010Q2 VALUES LESS THAN (201007),

  -> PARTITION p2010Q3 VALUES LESS THAN (201010)

  -> );

  Query OK, 0 rows affected (1.14 sec)

  Records: 0 Duplicates: 0 Warnings: 0

时间: 2024-11-30 00:25:38

mysql的分区技术详细介绍的相关文章

mysql的分区技术详细介绍_Mysql

一.概述 当 MySQL的总记录数超过了100万后,会出现性能的大幅度下降吗?答案是肯定的,但是,性能下降>的比率不一而同,要看系统的架构.应用程序.还有>包括索引.服务器硬件等多种因素而定.当有网友问我这个问题的时候,我最常见的回答>就是:分表,可以根据id区间或者时间先后顺序等多种规则来分表.分表很容易,然而由此所带来的应用程序甚至是架构方面的改动工作却不>容小觑,还包括将来的扩展性等. 在以前,一种解决方案就是使用 MERGE 类型,这是一个非常方便的做饭.架构和程序基本上不

MySQL中表分区技术详细解析_Mysql

MySQL 分区技术(是mysql 5.1以版本后开始用->是甲骨文mysql技术团队维护人员以插件形式插入到mysql里面的技术) 1.概述 数据库单表到达一定量后,性能会有衰减,像mysql\sql server等犹为明显,所以需要把这些数据进行分区处理.同时有时候可能出现数据剥离什么的,分区表就更有用处了! MySQL 5.1 中新增的分区(Partition)功能就开始增加,优势也越来越明显了: 与单个磁盘或文件系统分区相比,可以存储更多的数据 很容易就能删除不用或者过时的数据 一些查询

Mysql字符串处理函数详细介绍、总结

 这篇文章主要介绍了Mysql字符串处理函数详细介绍.总结,需要的朋友可以参考下 一.简明总结 ASCII(char) 返回字符的ASCII码值 BIT_LENGTH(str) 返回字符串的比特长度 CONCAT(s1,s2-,sn)  将s1,s2-,sn连接成字符串 CONCAT_WS(sep,s1,s2-,sn) 将s1,s2-,sn连接成字符串,并用sep字符间隔 INSERT(str,x,y,instr) 将字符串str从第x位置开始,y个字符长的子串替换为字符串instr,返回结果

Mysql数据库锁定机制详细介绍_Mysql

前言 为了保证数据的一致完整性,任何一个数据库都存在锁定机制.锁定机制的优劣直接应想到一个数据库系统的并发处理能力和性能,所以锁定机制的实现也就成为了各种数据库的核心技术之一.本章将对MySQL中两种使用最为频繁的存储引擎MyISAM和Innodb各自的锁定机制进行较为详细的分析. MySQL锁定机制简介 数据库锁定机制简单来说就是数据库为了保证数据的一致性而使各种共享资源在被并发访问访问变得有序所设计的一种规则.对于任何一种数据库来说都需要有相应的锁定机制,所以MySQL自然也不能例外.MyS

JSF技术详细介绍

与微软Visual Studio.NET程序开发有可视化工具的支持相比,人们在开发基于Java的Web用户界面时仍然需要手工书写大量的标签,同时还要考虑页面状态信息的保存.客户端事件处理等问题,开发难度比较大,效率较低,重用性差.Java Server Faces (JSF) 技术正是为了解决这一问题应运而生的,其最引人注目的特性之一是它与标记语言.协议.客户端设备无关.利用JSF提供的可重用.可扩展.基于组件的用户界面框架,在快速开发工具RAD的支持下实现可视化开发.现在JSF技术已经得到了许

php缓存技术详细介绍及php缓存实现代码

数据缓存:这里所说的数据缓存是指数据库查询PHP缓存机制,每次访问页面的时候,都会先检测相应的缓存数据是否存在,如果不存在,就连接数据库,得到数据,并把查询结果序列化后保存到文件中,以后同样的查询结果就直接从缓存表或文件中获得. 用的最广的例子看Discuz的搜索功能,把结果ID缓存到一个表中,下次搜索相同关键字时先搜索缓存表. 举个常用的方法,多表关联的时候,把附表中的内容生成数组保存到主表的一个字段中,需要的时候数组分解一下,这样的好处是只读一个表,坏处就是两个数据同步会多不少步骤,数据库永

Mysql字符串处理函数详细介绍、总结_Mysql

一.简明总结ASCII(char) 返回字符的ASCII码值BIT_LENGTH(str) 返回字符串的比特长度CONCAT(s1,s2-,sn)   将s1,s2-,sn连接成字符串CONCAT_WS(sep,s1,s2-,sn) 将s1,s2-,sn连接成字符串,并用sep字符间隔INSERT(str,x,y,instr) 将字符串str从第x位置开始,y个字符长的子串替换为字符串instr,返回结果FIND_IN_SET(str,list) 分析逗号分隔的list列表,如果发现str,返回

mysql中VARCHAR长度详细介绍

  在MySQL5.0以上的版本中,varchar数据类型的长度支持到了65535,也就是说可以存放65532个字节的数据,起始位和结束位占去了3个字节,也就是说,在4.1或以下版本中需要使用固定的TEXT或BLOB格式存放的数据可以使用可变长的varchar来存放,这样就能有效的减少数据库文件的大小. 一.VARCHAR存储和行长度限制 1.VARCHAR(N)中,N指的是字符的长度,VARCHAR类型最大支持65535,指的是65535个字节,但并不支持65535长度的varchar,655

Oracle 闪回技术详细介绍及总结_oracle

Oracle闪回技术详解,这里整理了4种闪回技术,对Oracle 闪回技术做一个整理总结.  概述: 闪回技术是Oracle强大数据库备份恢复机制的一部分,在数据库发生逻辑错误的时候,闪回技术能提供快速且最小损失的恢复(多数闪回功能都能在数据库联机状态下完成).需要注意的是,闪回技术旨在快速恢复逻辑错误,对于物理损坏或是介质丢失的错误,闪回技术就回天乏术了,还是得借助于Oracle一些高级的备份恢复工具如RAMN去完成(这才是Oracle强大备份恢复机制的精髓所在啊)  撤销段(UNDO SEG