MySQL深分页,limit 100000,10优化方式

目次

• 一、limit深分页为什么会变慢
• 二、优化方案
• 2.1 通过子查询优化（覆盖索引）
• 回顾B+树结构
• 覆盖索引
• 把条件转移到主键索引树
• 2.2 INNER JOIN 延长关联
• 2.3 标签记录法（要求id是有序的）
• 2.4 利用between…and…
• 总结

我们一样平常做分页需求时，一般会用limit实现，但是当偏移量特别大的时间，查询效率就变得低下。

本文将分4个方案，讨论如何优化MySQL百万数据的深分页问题.

一、limit深分页为什么会变慢

表结构

实行的深分页SQL为

这个SQL的实行时间如下：

实行完需要0.742秒，深分页为什么会变慢呢？假如换成 [code]limit 0,10[/code]，只需要0.006秒哦

我们先来看下这个SQL的实行流程：

• 通过普通二级索引树idx_update_time，过滤update_time条件，找到满足条件的记录ID。
• 通过ID，回到主键索引树，找到满足记录的行，然后取出展示的列（回表）
• 扫描满足条件的100010行，然后抛弃前100000行，返回。

（每一条select语句都会从1遍历至当前位置，若跳转到第10000页，则会遍历100000条记录）

实行操持如下：

SQL变慢原因有两个：

1. limit语句会先扫描offset+n行，然后再扬弃掉前offset行，返回后n行数据。也就是说[code]limit 100000,10[/code]，就会扫描100010行，而[code]limit 0,10[/code]，只扫描10行。
2. [code]limit 100000,10[/code] 扫描更多的行数，也意味着回表更多的次数。

二、优化方案

2.1 通过子查询优化（覆盖索引）

由于以上的SQL，回表了100010次，现实上，我们只需要10条数据，也就是我们只需要10次回表实在就够了。因此，我们可以通过减少回表次数来优化。

回顾B+树结构

如何减少回表次数呢？我们先来复习下B+树索引结构

InnoDB中，索引分主键索引（聚簇索引）和二级索引

• 主键索引，叶子节点存放的是整行数据
• 二级索引，叶子节点存放的是主键的值。

覆盖索引

覆盖索引（covering index ，或称为索引覆盖）即从非主键索引中就能查到的记录，而不需要查询主键索引中的记录，避免了回表的产生减少了树的搜索次数，显着提拔性能。

如何确定数据库成功利用了覆盖索引呢？ —— 当发起一个索引覆盖查询时，在explain的extra列可以看到using index的信息

可以看到Extra中的Using index，表明我们成功利用了覆盖索引

把条件转移到主键索引树

假如我们把查询条件，转移回到主键索引树，那就不就可以减少回表次数啦。转移到主键索引树查询的话，查询条件得改为[code]主键id[/code]了，之前SQL的[code]update_time[/code]这些条件咋办呢？抽到子查询那边嘛~

子查询那边怎么抽的呢？由于二级索引叶子节点是有主键ID的，以是我们直接根据[code]update_time[/code]来查主键ID即可，同时我们把 [code]limit 100000[/code]的条件，也转移到子查询，完整SQL如下：

查询结果一样的，实行时间只需要0.038秒！ 0.742秒 ——> 0.038秒

我们来看下实行操持

由实行操持得知，子查询 table a查询是用到了[code]idx_update_time[/code]索引。

首先在索引上拿到了聚集索引的主键ID，省去了回表操作，然后第二查询直接根据第一个查询的ID往后再去查10个就可以了!

所谓的覆盖索引就是从普通索引树中就能查到的想要数据，而不需要通过回表从主键索引中查询其他列，能够显着提拔性能。

因此，这个方案是可以的~

2.2 INNER JOIN 延长关联

延长关联的优化思路，跟子查询的优化思路实在是一样的：都是把条件转移到主键索引树，然后减少回表。不同点是，延长关联利用了inner join取代子查询。

优化后的SQL如下：

查询结果也是杠杆的，只需要0.034秒

实行操持如下：

查询思路就是，先通过[code]idx_update_time[/code]二级索引树查询到满足条件的主键ID，再与原表通过主键ID内毗连，这样后面直接走了主键索引了，同时也减少了回表。

2.3 标签记录法（要求id是有序的）

limit 深分页问题的本质原因就是：偏移量（offset）越大，mysql就会扫描越多的行，然后再扬弃掉。这样就导致查询性能的降落。

实在我们可以采取标签记录法，就是标志一下前次查询到哪一条了，下次再来查的时间，从该条开始往下扫描。就好像看书一样，前次看到那里了，你就折叠一下大概夹个书签，下次来看的时间，直接就翻到啦。

假设上一次记录到100000，则SQL可以优化为：

这样的话，后面无论翻多少页，性能都会不错的，由于掷中了[code]id[/code]索引。但是你，这种方式有范围性：要求id是一连的、并且有序。

在有序的条件下，也可以利用比如创建时间等其他字段来取代主键id，但是前提是这个字段是创建了索引的。

id不是一连，我们可以通过[code]order by[/code]让它一连

总之，利用条件过滤的方式来优化 limit 是有诸多限制的，一般还是推荐利用覆盖索引的方式来优化。

2.4 利用between…and…

很多时间，可以将[code]limit[/code]查询转换为已知位置的查询，这样MySQL通过范围扫描[code]between...and[/code]，就能获得到对应的结果。

假如知道边界值为100000，100010后，就可以这样优化：

总结

以上为个人履历，希望能给各人一个参考，也希望各人多多支持脚本之家。