mysql 分表与分区

一般来讲,mysql中一个表的总记录超过1000W,就会出现性能的大幅度下降。可以通过分表与分区实现优化。

1. 分表

一张表分成很多表后,每一个小表都是完整的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表结构文件。

#alluser为虚拟的总表,user1与user2为实际的分表
[root@BlackGhost test]# ls |grep user
alluser.MRG
alluser.frm
user1.MYD
user1.MYI
user1.frm
user2.MYD
user2.MYI
user2.frm

2. 分区

一张大表进行分区后,他还是一张表,不会变成二张表,但是他存放数据的区块变多了。

#按照id的哈希值分为三个区。
mysql> create table user(id int)partition by hash(id)partitions 3;
#分区后的文件形式,可以注意到user.par存放了分区的描述
[root@BlackGhost test]# ls |grep user
user#P#p1.MYD
user#P#p1.MYI
user#P#p2.MYD
user#P#p2.MYI
user#P#p3.MYD
user#P#p3.MYI
user.frm
user.par

除了按照hash来分区,还可以按照时间等来自定义分区规则。

3.比较

分表与分区都可以做到对开发人员代码透明。

不同的子表或区块都可以位于不同的磁盘上,提高并发性能。

时间: 2024-10-30 20:31:25

mysql 分表与分区的相关文章

mysql分表,分区的区别和联系

一,什么是MySQL分表,分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表 什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上,具体请参考mysql分区功能详细介绍,以及实例 二,mysql分表和分区有什么区别呢 1,实现方式上 a),mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表结构文件. Java代码   [root@BlackGh

mysql分表和分区的区别浅析_Mysql

一.什么是mysql分表和分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表 什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上 二.mysql分表和分区有什么区别呢 1.实现方式上 a)mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表结构文件. 复制代码 代码如下: [root@BlackGhost test]# ls |grep use

什么是分表和分区 MySql数据库分区和分表方法

1.为什么要分表和分区 日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕.分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率. 2.什么是分表和分区 2.1 分表 分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构

mysql —— 分表分区(1)

面对当今大数据存储,设想当mysql中一个表的总记录超过1000W,会出现性能的大幅度下降吗? 答案是肯定的,一个表的总记录超过1000W,在操作系统层面检索也是效率非常低的 解决方案: 目前针对海量数据的优化有两种方法: 1.大表拆小表的方式(主要有分表和分区两者技术) (1)分表技术 垂直分割 优势:降低高并发情况下,对于表的锁定. 不足:对于单表来说,随着数据库的记录增多,读写压力将进一步增大. 水平分割 如果单表的IO压力大,可以考虑用水平分割,其原理就是通过hash算法,将一张表分为N

是否有gem较好地解决了mysql分表的问题

问题描述 是否有gem较好地解决了mysql分表的问题 在mysql中,当一张表的数据达到上千万.上亿的数量级时,单表查询的效率会很低了.在使用rails时,是否有gem较好地解决了mysql分表的问题? 解决方案 应该主动通过mysql来做分库分表

mysql分表问题(insert_method的理解)

问题描述 mysql分表问题(insert_method的理解) CREATE TABLE account_all (id int(11) NOT NULL AUTO_INCREMENT name varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL money float NOT NULL tradeDate datetime NOT NULLPRIMARY KEY (id))ENGINE=MRG_MY

MySQL 分表存储的使用示例

一般我们项目中如果数据量特别大的话通常会考虑将某一表数据进行分表处理,例如:我们的用户访问日志.如果将该数据始终保存在一张表的话那么久而久之这张表的数据量会特别大,导致查询效率降低.这个时候就需要考虑将该数据分别存储到多张表中. 而日志数据具有典型的如下特点: 1. 数据量大. 2. 每天每月都稳定输出. 3. 对数据的操作在插入之后大部分只有查询,很少有编辑或者删除操作. MySQL数据库提供了数据分表的方式. MERGE存储引擎 我们在使用SQL语句Create table创建表时可以指定数

mysql分表的3种方法

一,先说一下为什么要分表 当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了.分表的目的就在于此,减小数据库的负担,缩短查询时间. 根据个人经验,mysql执行一个sql的过程如下: 1,接收到sql;2,把sql放到排队队列中 ;3,执行sql;4,返回执行结果.在这个执行过程中最花时间在什么地方呢?第一,是排队等待的时间,第二,sql的执行时间.其实这二个是一回事,等待的同时,肯定有sql在执行.所以我们要缩短sql的执行时间. mysql中有一

MySQL 分表优化方法与实例代码

1.试验PROCEDURE. DELIMITER $$ DROP PROCEDURE `t_girl`.`sp_split_table`$$ CREATE PROCEDURE `t_girl`.`sp_split_table`() BEGIN declare done int default 0; declare v_user_name varchar(20) default ''; declare v_table_name varchar(64) default ''; -- Get all