百万数据深度分页优化

背景

1、查询文章列表，一直滑动翻页，不用跳转到指定页数
2、从数据库查询百万客户数据写入redis
3、访问某小程序的积分商城查看商品，一直滑动翻页，不用跳转到指定页面

问题分析

假设一个单表有100万数据，如何进行分页

SELECT * FROM C_TABLE AS C 
WHERE 
C.delete_flag = 0
order by c.id limit #{offset},#{pageSize}

以上一个简单的分页查询语句
当以上场景翻页很深，offset越来越大，回表的记录越来越多，sql查询新能惠急剧下降，会出现大量的慢SQL（超过1s的）

解决方案

1、子查询，利用聚集索引（主键）减少回表，从而提升查询效率，类似以下的SQL：

SELECT * FROM C_TABLE AS C
where
c.id >= (select id from C_TABLE 
		 where C.delete_flag = 0 order by C_TABLE.id limit #{offset},1) 
limit #{pageSize}

2、内连接（inner join）查询，把子查询（利用聚集索引）的结果当成一张临时表，然后和原表进行关联查询：

SELECT * FROM C_TABLE AS C
INNER JOIN ( select id from C_TABLE 
		 where C.delete_flag = 0 order by C_TABLE.id limit #{offset},#{pageSize}) as d
where C.id = d.id

3、(最推荐）使用游标分页查询，当查询第二页的时候，把第一页的查询接口（返回最后一条记录的id）放到第二页的查询条件中，类似：

SELECT * FROM C_TABLE AS C
where
C.delete_flag = 0 and id > #{lastId}
order by c.id limit #{pageSize};