建立索引的原则 - 以innodb为例

一、写在前面

        随着开发、测试任务进入尾声,大家都在整理一些项目发布前的一些准备工作,其中一个重要的工作就是为之前写的一些sql语句建立索引,这高并发、高访问量的环境下是非常有必要的,建立一个好的索引能够极大地提高sql语句的查询效率,那么问题来了,到底什么是索引,怎样才能建立一个好的索引呢?本文以mysql Innodb存储引擎为例,结合实际的项目来看一下,如何建立一个好的而索引。

二、索引定义

        MySQL官方对索引的定义为:索引(Index)是帮助MySQL高效获取数据的数据结构。提取句子主干,就可以得到索引的本质:索引是数据结构。
        我们知道,数据库查询是数据库的最主要功能之一,例如下面的SQL语句:SELECT * FROM test_table WHERE id = 99 ;可以从表test_table中获得id为99的数据记录。
        我们都希望查询数据的速度能尽可能的快,因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序查找(linear search),遍历test_table然后逐行匹配id的值是否是99,这种复杂度为O(n)的算法在数据量很大时显然是糟糕的,好在计算机科学的发展提供了很多更优秀的查找算法,例如二分查找(binary search)、二叉树查找(binary tree search)等。如果稍微分析一下会发现,每种查找算法都只能应用于特定的数据结构之上,例如二分查找要求被检索数据有序,而二叉树查找只能应用于二叉查找树上,但是数据本身的组织结构不可能完全满足各种数据结构(例如,理论上不可能同时将两列都按顺序进行组织),所以,在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现高级查找算法。这种数据结构,就是索引。
        举上面的例子主要是为了简单说明地说明索引的作用,包括mysql Innodb在内的大部分数据库系统及文件系统并没有选择二叉树结构作为索引,而是采用了B-Tree或其变种B+Tree作为索引结构,这种索引结构可以最大限度地减少查找过程中磁盘I/O的存取次数,关于什么是B-Tree或B+Tree以及选择它们做数据库索引结构的原因,大家可以自行去学习。下面我们首先介绍下mysql Innodb引擎的两种B+Tree索引。

三、Mysql Innodb B+Tree索引

  1. 一种是主键索引,主键索引即聚集索引(Cluster Index),它不仅有主键,而且有主键所属的全部数据,所以在Innodb中,主键索引即数据;
  2. 一种是列值为Key,主键位置为Value即 (列值, 主键位置) 的非主键索引(Secondary Index)           Innodb属于索引组织表,所有的数据全部挂在主键叶子节点下。所以如果不能保证主键的插入顺序,那么会发生大量的主键节点分裂,产生大量的I/O操作。另外Innodb规定单个索引字段的长度不得超过768字节,否则截断超出长度不放入索引。         Innodb的非主键索引全部都指向主键索引,查找非主键索引无法获得整行数据,需要通过叶子节点的指针查到其主键索引的位置才能获得整行数据,所以主键索引必须设计得尽可能小,否则非主键索引将会非常的大。

四、建立索引的原则

        下面我们看一下建立一个好的索引需要遵循的原则,并结合具体的例子来做说明;
1. 最左前缀匹配原则,非常重要的原则,mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配,比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整。
2. =和in可以乱序,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序,mysql的查询优化器会帮你优化成索引可以识别的形式。
3. 尽量选择区分度高的列作为索引,区分度的公式是count(distinct col)/count(*),表示字段不重复的比例,比例越大我们扫描的记录数越少,唯一键的区分度是1,而一些状态、性别字段可能在大数据面前区分度就是0,那可能有人会问,这个比例有什么经验值吗?使用场景不同,这个值也很难确定,一般需要join的字段我们都要求是0.1以上,即平均1条扫描10条记录
4. 索引列不能参与计算,保持列“干净”,比如from_unixtime(create_time) = ‘2015-08-14’就不能使用到索引,原因很简单,b+树中存的都是数据表中的字段值,但进行检索时,需要把所有元素都应用函数才能比较,显然成本太大。所以语句应该写成create_time = unix_timestamp(‘2015-08-14’)。
5. 尽量的扩展索引,不要新建索引。比如表中已经有a的索引,现在要加(a,b)的索引,那么只需要修改原来的索引即可。
6. 在order by或者group by子句中,如果想通过索引来进行排序,所建索引列的顺序必须与order by或者group by子句的顺序一致,并且所有列的排序方向(倒序或者正序)都一样;如果查询关联多张表,则只有order by子句引用的字段全部来自第一张表时,才能利用索引来排序;order by或者group by语句与查询型语句的限制是一样的:需要满足索引的最左前缀原则;否则mysql就要执行排序操作,无法利用索引来排序;(有一种情况order by或者group by子句可以不满足最左前缀原则,就是其前导为常量的时候,如果where或者join对这些列指定了常量,就可以弥补索引的不足)。

五、举例

        语句1:

        语句2:

        对于这两条语句,如果单独进行考虑的话,大家可能会建立两个索引;
针对语句1建立(status,netting_batch_no,debtor_agent_member_id);
针对语句2建立(netting_batch_no,debtor_agent_member_id,transaction_currency);
如果综合考虑来看的话,其实一个索引就够了,即(netting_batch_no,debtor_agent_member_id),这里没必要将status或者transaction_currency字段放到索引中,因为这两个字段的区分度太差;
根据建立索引的原则2,语句1是可以走到这个索引的;
根据建立索引的原则1,语句2也是可以走到这个索引的;
索引不是越多越好,建立过多的索引会增加数据库内存或者磁盘的消耗,并且会影响到得插入、删除等操作的性能,索引在建立索引时要遵循索引建立的原则,通盘考虑;

时间: 2025-01-30 07:46:07

建立索引的原则 - 以innodb为例的相关文章

数据库建立索引的原则

使用索引可快速访问数据库表中的特定信息.索引是对数据库表中一列或多列的 值进行排序的一种结构,例如 employee 表的姓(lname)列.如果要按姓查找 特定职员,与必须搜索表中的所有行相比,索引会帮助您更快地获得该信息.            索引是一个单独的.物理的数据库结构,它是某个表中一列或若干列值的集 合和相应的指向表中物理标识这些值的数据页的逻辑指针清单.          索引提供指向存储在表的指定列中的数据值的指针,然后根据您指定的排序 顺序对这些指针排序.数据库使用索引的方

分区表建立索引

全局索引 ============ CREATE INDEX month_ix ON sales(sales_month) 本地索引 ============ CREATE INDEX loc_dept_ix ON dept(deptno) LOCAL; 全局分区索引 ============ CREATE INDEX month_ix ON sales(sales_month) GLOBAL PARTITION BY RANGE(sales_month) (PARTITION pm1_ix V

Oracle中查看建立索引和使用索引的注意点

一.查看和建立索引 select * from user_indexes where table_name = 'student' create index i_student_num on student(num) 二.使用索引的注意点 ①类型匹配 若student中num列是varchar类型,语句select * from student where num = 100 该语句被转化为select * from student where to_number(num) = 100,该列的索

Oracle数据库中建立索引的基本方法讲解_oracle

怎样建立最佳索引? 1.明确地创建索引 create index index_name on table_name(field_name) tablespace tablespace_name pctfree 5 initrans 2 maxtrans 255 storage ( minextents 1 maxextents 16382 pctincrease 0 ); 2.创建基于函数的索引 常用与UPPER.LOWER.TO_CHAR(date)等函数分类上,例: create index

外键要建立索引的原理和实验

项目中,我们要求凡是有主子关系的表都要使用外键约束,来保证主子表之间关系的正确,不推荐由应用自己控制这种关系. 但发现有时开发人员提交SQL语句时未必会注意外键列需要定义索引,或者不清楚为什么外键列需要建立索引,网上一些所谓的"宝典"也会将外键列建索引作为其中的一条,包括TOM大师,曾说过: 导致死锁的头号原因是外键未加索引(第二号原因是表上的位图索引遭到并发更新).在以下两种情况下,Oracle在修改父表后会对子表加一个全表锁: 1)如果更新了父表的主键(倘若遵循关系数据库的原则,即

使用索引的误区之六:为索引列都建立索引

索引 使用索引的误区之六:为所有列都建立索引我们知道,建立索引是为了提高查询的效率,但是同时也应该注意到,索引增加了对DML操作(insert, update, delete)的代价,而且,一给中的索引如果太多,那么多数的索引是根本不会被使用到的,而另一方面我们维护这些不被使用的所以还要大幅度降低系统的性能.所以,索引不是越多越好,而是要恰到好处的使用.   比如说,有些列由于使用了函数,我们要使用已有的索引(如一些复合索引)是不可能的(详细请参见前面"函数索引"),那么就必须建立单独

为数据库建立索引(二)

数据|数据库|索引 接着,来个稍微复杂一点的,如果有个ORDER BY字句呢?不管你信不信,大多数的数据库在使用order by的时候,都将会从索引中受益. SELECT * FROM mytable WHERE category_id=1 AND user_id=2 ORDER BY adddate DESC; 有点迷惑了吧?很简单,就象为where字句中的字段建立一个索引一样,也为ORDER BY的字句中的字段建立一个索引: CREATE INDEX mytable_categoryid_u

Oracle管理索引(三)Oracle建立索引

1.建立b-tree索引 (1)相关概念 根块(一个):索引顶级块,它包含指向下一级节点(分支块或叶块)的信息. 分支块:它包含指向下一级的节点(分支块或叶块)的信息. 叶块:它包含索引入口数据,索引入口包含索引列值或受限ROWID (2)建立索引 如果在where子句中要经常引用某列或某几列,应该给予这些列值建立B-*树索引 10:23:58 SQL> create index ind_ename on scott.emp(ename) pctfree 30 10:24:32   2  tab

用MySQL建立索引时数据表怎样建立?

问题描述 用MySQL建立索引时数据表怎样建立? 长度的字符串位置,大致是这样: 字符串 位置 |ABCD| {1.1,1.11,3.6,...} | |BCDC| {1.2,3.7,...} | |CDCD| {1.3,...} | |.... | {...} | (比如:搜索ABCD,返回{1.1,1.11,3.6}) 我打算将固定长度的字符串作为关键字,位置作为数据. 我知道MySQL里的游标逐条处理数据,但是怎么用原始数据建立数据表?需要什么?希望有人指导一下,万分 解决方案 你这个是全