电商项目亿级数据量之深度分页解决方案

1 问题背景

在电商中，仅商品数据就能达到百万级别甚至亿级。有些场景需要查询若干商品，在亿级数据量的情况下，产生了深度分页的问题。

参考自：实战！聊聊如何解决MySQL深分页问题

2 前言

下面给出的解决方案，笔者确实在企业级项目中看到有运用。

3 解决方案

核心就是让sql走主键索引

3.1 将二级索引转移成主键索引

如果sql语句仅仅是用了二级索引，那么可以优先通过二级索引查询到主键ID，然后再通过主键ID查询具体的列值

3.2 游标记录

走主键索引的sql加上id升序排序，下一次查询则使用where id > 上次查询的id最大值 and id in (1001, 1002, ...)，上次查询的id最大值的初始值可以用0。

3.3 between … and …

设置每次查询的数量，比如30，每次查询都用id最大值加上设置的查询数量，如

伪代码如下：

// 每次查询的数量
int num = 30;
// 总查询的量（id的最大值）
int maxNum = 3000;
// 范围
int minId = 0;
int maxId = 0;

for (;maxId < maxNum;) {
  minId = maxId + 1;
  maxId = maxId + num;
  // 构造如下 sql
  String sql = "select * from t_product where id between minId and maxId;"
}