MySQL进阶：强推，冲大厂必精通！MySQL索引底层（B+Tree）、性能分析、使用规则

索引概述

1、介绍

索引（index）是帮助MySQL高效获取数据的数据结构(有序)。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。

2、演示

表结构及其数据如下：

3、特点

索引结构

概述

MySQL的索引是在存储引擎层实现的，不同的存储引擎有不同的索引结构，主要包含以下几种：

上述是MySQL中所支持的所有的索引结构，接下来，我们再来看看不同的存储引擎对于索引结构的支持情况：

注意：平常所说的索引，如果没有特别指明，都是指B+树结构组织的索引。

二叉树

假如说MySQL的索引结构采用二叉树的数据结构，比较理想的结构如下：

• 顺序插入时，会形成一个链表，查询性能大大降低。
• 大数据量情况下，层级较深，检索速度慢。

可以思考，如果我们选择了红黑树，其本质也是一个平衡二叉树，即便向红黑树顺序插入数据，最终形成的数据结构也是一个平衡二叉树，结构如下：

B-Tree

B-Tree，B树是一种多叉路衡查找树，相对于二叉树，B树每个节点可以有多个分支，即多叉。
以一颗最大度数（max-degree）为5(5阶)的b-tree为例，那这个B树每个节点最多存储4个key，5个指针：

如果感兴趣，可以通过一个数据结构的可视化网站来简单演示：

特点：

5阶的B树，每一个节点最多存储4个key，对应5个指针。
一旦节点存储的key数量到达5，就会裂变，中间元素向上分裂。
在B树中，非叶子节点和叶子节点都会存放数据。

B+Tree

B+Tree是B-Tree的变种，我们以一颗最大度数（max-degree）为4（4阶）的b+tree为例，来看一下其结构示意图：

• 绿色框框起来的部分，是索引部分，仅仅起到索引数据的作用，不存储数据。
• 红色框框起来的部分，是数据存储部分，在其叶子节点中要存储具体的数据。

可以看到，B+Tree与B-Tree相比，主要有以下三点区别：

• 所有的数据都会出现在叶子节点。
• 叶子节点形成一个单向链表。
• 非叶子节点仅仅起到索引数据作用，具体的数据都是在叶子节点中存放的。

MySQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加一个指向相邻叶子节点的链表指针，就形成了带有顺序指针的B+Tree，提高区间访问的性能，利于排序。

Hash

MySQL中除了支持B+Tree索引，还支持一种索引类型——Hash索引。

1、结构

哈希索引就是采用一定的hash算法，将键值换算成新的hash值，映射到对应的槽位上，然后存储在hash表中。

如果两个(或多个)键值，映射到一个相同的槽位上，他们就产生了hash冲突（也称为hash碰撞），可以通过链表来解决（类似于JDK8以前的HashMap）。

2、特点

• Hash索引只能用于对等比较(=，in)，不支持范围查询（between，>，< ，…）
• 无法利用索引完成排序操作
• 查询效率高，通常(不存在hash冲突的情况)只需要一次检索就可以了，效率通常要高于B+tree索引

3、存储引擎支持

在MySQL中，支持hash索引的是Memory存储引擎。而InnoDB中具有自适应hash功能，hash索引是InnoDB存储引擎根据B+Tree索引在指定条件下自动构建的。

高频面试题

相信大家经常会看到这样的面试题：有了B树为什么还要提出B+树，在这里我们把这个问题难度变大一点，问题为：为什么InnoDB存储引擎选择使用B+tree索引结构?

• 相对于二叉树，层级更少，搜索效率高
• 对于B-tree，无论是叶子节点还是非叶子节点，都会保存数据，这样导致一页中存储的键值减少，指针跟着减少，要同样保存大量数据，只能增加树的高度，导致性能降低
• 相对Hash索引，B+tree支持范围匹配及排序操作

索引分类

索引分类

在MySQL数据库，将索引的具体类型主要分为以下几类：主键索引、唯一索引、常规索引、全文索引。

聚集索引 & 二级索引 & 回表查询

在InnoDB存储引擎中，根据索引的存储形式，又可以分为以下两种：

聚集索引的选取规则：

• 如果存在主键，主键索引就是聚集索引
• 如果不存在主键，将使用第一个唯一（UNIQUE）索引作为聚集索引
• 如果表没有主键，或没有合适的唯一索引，则InnoDB会自动生成一个rowid作为隐藏的聚集索引

聚集索引和二级索引的具体结构如下：

• 聚集索引的叶子节点下挂的是这一行的数据
• 二级索引的叶子节点下挂的是该字段值对应的主键值

基于此，我们可以分析一下，当执行SQL语句select * from user where name='Arm'时，具体的查找过程：

具体过程如下：

1、由于是根据name字段进行查询，所以先根据name='Arm’到name字段的二级索引中进行匹配查找。但是在二级索引中只能查找到 Arm 对应的主键值10。
2、由于查询返回的数据是*，所以此时，还需要根据主键值10，到聚集索引中查找10对应的记录，最终找到10对应的行row。
3、最终拿到这一行的数据，直接返回即可。

回表查询：先到二级索引中查找数据，找到主键值，然后再到聚集索引中根据主键值，获取数据的方式，就称之为回表查询。

高频面试题

考虑下面2条SQL语句，判断谁的执行效率高：
（1）select * from user where id = 10;
（2）select * from user where name = ‘Arm’;

解答：

第一个SQL语句的效率高，因为直接走聚集索引返回行数据。而第二个SQL语句需要先查询name字段的二级索引，然后再查询聚集索引，也就是需要进行回表查询。

索引语法

1、创建索引

CREATE [ UNIQUE | FULLTEXT ] INDEX index_name ON table_name(index_col_name,...);

2、查看索引

SHOW INDEX FROM table_name;

3、删除索引

DROP INDEX index_name ON table_name;

案例演示

phone手机号字段的值，是非空，且唯一的，为该字段创建唯一索引：

CREATE UNIQUE INDEX idx_user_phone ON tb_user(phone);

为profession、age、status创建联合索引：

CREATE INDEX idx_user_pro_age_sta ON tb_user(profession,age,status);

注意：联合索引的顺序是会影响到查询时候的性能的，这在后续的规则中会介绍

索引-SQL性能分析

SQL执行频率

MySQL 客户端连接成功后，通过 show [session|global] status 命令可以提供服务器状态信息。通过如下指令，可以查看当前数据库的INSERT、UPDATE、DELETE、SELECT的访问频次：

-- session 当前会话
-- global 全局数据
SHOW GLOBAL STATUS LIKE 'Com_______';

这里会展示出四个操作的次数。

通过status可以看出当前数据库是以查询为主还是以修改为主，从而为优化提供参考。若是以查询为主，那么就要考虑对数据库的索引进行优化。

慢查询日志

慢查询日志记录了所有执行时间超过指定参数（long_query_time，单位：秒，默认10秒）的所有SQL语句的日志。
慢日志默认关闭，要开启需要修改/etc/my.cnf的配置信息：

# 开启MySQL慢日志查询开关
slow_query_log=1
# 设置慢日志的时间为2秒，SQL语句执行时间超过2秒，就会被记录
long_query_time=2

配置完毕之后，通过systemctl restart mysqld重启MySQL服务器。

profile详情

show profiles能够在做SQL优化时帮助我们了解时间都耗费到哪里去了，默认是关闭的，可以通过SET profiling=1打开开关。
执行一系列的业务SQL的操作，可以通过如下指令查看指令的执行耗时：

-- 查看每一条SQL的耗时基本情况
show profiles;
-- 查看指定query_id的SQL语句各个阶段的耗时情况（一系列的SQL查询语句，会有对应的query_id）
show profile for query query_id;
-- 查看指定query_id的SQL语句CPU的使用情况
show profile cpu for query query_id;

然而我们只能知道，SQL语句的耗时主要出现在执行阶段（executing）中，但其细节却不得而知。

explain

EXPLAIN / DESC获取 MySQL 如何执行 SELECT 语句的信息，包括在 SELECT 语句执行过程中表如何连接和连接的顺序。

-- 直接在select语句之前加上关键字 explain / desc
EXPLAIN SELECT 字段列表 FROM 表名 WHERE 条件 ;

explain执行计划中各个字段的含义：

索引使用

验证索引效率

可以看到即使有1000w的数据,根据id进行数据查询,性能依然很快，因为主键id是有索引的。

可以看到根据sn字段进行查询，查询返回了一条数据，结果耗时 20.78sec，就是因为sn没有索引，而造成查询效率很低。

针对sn字段，建立一个索引，再做查询。

创建索引：

create index idx_sku_sn on tb_sku(sn) ;

执行查看：

可以看到查询性能大大提升。

最左前缀法则

如果索引了多列（联合索引），要遵守最左前缀法则。最左前缀法则指的是查询从索引的最左列开始，并且不跳过索引中的列。如果跳跃某一列，索引将会部分失效(后面的字段索引失效)。
以上述tb_user表为例，有一个联合索引顺序为：profession、age、status。

测试1：

可以发现，只要联合索引最左边的字段 profession存在，索引就会生效，只不过索引的长度不同。可以推测索引长度分别为47、2、5。

测试2：

可以看到索引并未生效，原因是因为不满足最左前缀法则，联合索引最左边的列profession不存在

存在profession字段，最左边的列是存在的，索引满足最左前缀法则的基本条件。但是查询时，跳过了age这个列，所以后面的列索引是不会使用的，也就是索引部分生效，所以索引长度为47

若执行explain select * from tb_user where age = 31 and status = '0' and profession = '软件工程'，也会满足最左前缀法则，也就是说SQL条件查询的先后顺序是不重要的。

范围查询

联合索引中，出现范围查询(>,<)，范围查询右侧的列索引失效。

当范围查询使用> 或 < 时，走联合索引了，但是索引的长度为49，就说明范围查询右边的status字段是没有走索引的，所以应该尽量使用>=或者<=：

索引失效情况

索引列运算

不要在索引列上进行运算操作， 索引将失效：


ALL表示全表扫描，效率低下。

字符串不加引号

字符串类型字段使用时，不加引号，索引将失效：

可以看出，对查询结果是没有什么影响的，但是数据库内部存在隐式的类型转换，导致索引失效

模糊查询

如果仅仅是尾部模糊匹配，索引不会失效。如果是头部模糊匹配，索引失效。

or连接条件

用or分割开的条件， 如果or前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到。

解决方式是可以给age字段简历索引create index idx_user_age on tb_user(age)

数据分布影响

如果MySQL评估使用索引比全表更慢，则不使用索引：

MySQL在查询时，会评估使用索引的效率与走全表扫描的效率，如果走全表扫描更快，则放弃索引，走全表扫描。因为索引是用来索引少量数据的，如果通过索引查询返回大批量的数据，则还不如走全表扫描来的快，此时索引失效。

这个例子也可以看出MySQL的评估方式影响到了查询的计划。

SQL提示

对于select * from tb_user where profession = '软件工程'，若profession分别是单列索引以及其他联合索引（满足最左匹配），MySQL默认走联合索引，当然我们可以使用SQL提示来做指定：
1、use index：建议MySQL使用哪一个索引完成此次查询（只是建议，MySQL还会做评估）

explain select * from tb_user use index(idx_user_pro) where profession = '软件工程';

2、ignore index：忽略指定的索引

explain select * from tb_user ignore index(idx_user_pro) where profession = '软件工程';

3、force index：强制使用索引

explain select * from tb_user force index(idx_user_pro) where profession = '软件工程';

覆盖索引（重点！）

尽量使用覆盖索引，减少select *。
覆盖索引是指查询使用了索引，并且需要返回的列在该索引列中已经全部能够找到。

测试：

关注Extra：

这是因为，tb_user下的联合索引(profession,age,status)是一个二级索引，叶子结点下面挂载了主键的id，所以查询返回的数据只要在id、profession、age、status之间，就无需回表查询。

可以通过图来更直观的理解：
（1）表结构及索引示意图（辅助索引就是二级索引）

（2）执行select * from tb_user where id = 2，直接查询主键id效率很高

（3）执行selet id,name from tb_user where name = 'Arm'，虽是根据name查二级索引，但不需要回表，效率也高

（4）执行selet id,name,gender from tb_user where name = 'Arm'，二级索引不含gender，所以回表，性能差：

高频面试题

当数据量大时，如何使得select id,username,password from tb_user where username = 'itcast'性能变高：

针对username和password建立联合索引，避免回表查询

前缀索引

只将字符串的一部分前缀，建立索引，这样可以大大节约索引空间，从而提高索引效率。
例如，为email建立长度为5的前缀索引

前缀长度可以根据索引的选择性来决定，而选择性是指不重复的索引值（基数）和数据表的记录总数的比值，索引选择性越高则查询效率越高， 唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的：

select count(distinct email) / count(*) from tb_user;
select count(distinct substring(email,1,5)) / count(*) from tb_user;

前缀索引查询流程：

单列索引与联合索引

单列索引：即一个索引只包含单个列。
联合索引：即一个索引包含了多个列。

在业务场景中，如果存在多个查询条件，考虑针对于查询字段建立索引时，建议建立联合索引，而非单列索引。这样可以有效避免回表查询，大家可以通过覆盖索引的思想自行分析。

索引设计原则

• 针对于数据量较大，且查询比较频繁的表建立索引。
• 针对于常作为查询条件（where）、排序（order by）、分组（group by）操作的字段建立索引。
• 尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度越高，使用索引的效率越高。
• 如果是字符串类型的字段，字段的长度较长，可以针对于字段的特点，建立前缀索引。
• 尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间，避免回表，提高查询效率。
• 要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增删改的效率。
• 如果索引列不能存储NULL值，请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含NULL值时，它可以更好地确定哪个索引最有效地用于查询。