百万级数据分页查询优化

一、模拟百万级数据量,采用爆炸式增长方式

insert into mmw_product( product_name, product_price,product_stock,prodct_barcode,product_img,class_id,status,create_time,update_time )
select product_name, product_price, product_stock, prodct_barcode,product_img,class_id,status,create_time,update_time from mmw_product
百万级数据分页查询优化_第1张图片
百万数据

二、普通分页

1.普通分页查询sql语句(配合mybatis)

 

2.在dao(持久化层)计算查询时间

    System.out.println("--------begin---------");
    long beginTime = System.currentTimeMillis();  //开始查询—毫秒
    List list = getSqlSession().selectList(getStatement(SQL_LIST_PAGE)); //操作数据库
    long endTime = System.currentTimeMillis();  //结束查询—毫秒
    System.out.println("-------end-----------");
    long result=endTime-beginTime;
    System.out.println("查询耗时:"+result);
 
 

3.使用postman发起查询:

百万级数据分页查询优化_第2张图片
接口分页查询方法

4.观察控制台输出结果,耗时18毫秒


18毫秒

5.使用explain分析语句,MySQL这次扫描的行数是20w+。

explain SELECT * from mmw_product  limit 100000,20;
explain语句分析结果图
总结:一个非常常见又令人头疼的问题就是,在偏移量非常大的时候,例如可能是LIMIT 100000,20这样的查询,这时MySQL需要查询100020条记录然后只返回最后20条,前面100000条记录都被抛弃,这种分页MySQL需要从头开始一直往后计算,这样大大影响效率,代价非常高;

三、优化分页

1.使用主键索引来优化数据分页(配合mybatis)


2.观察控制台输出结果,耗时12毫秒

百万级数据分页查询优化_第3张图片
12毫秒

3.使用explain分析语句,MySQL这次扫描的行数是10w+.

explain select * from mmw_product where id>(select id from mmw_product where id>=100000 limit 1) limit 20; 
Paste_Image.png
总结:在数据量比较大的时候,我们尽量使用索引来优化sql语句。该例子优化方法如果id不是主键索引,查询效率比第一种还要低点。当然查询效率不仅仅是跟我们的sql语句、java代码有关,跟应用的架构以及硬件有关,所以说架构很重要。

四、SQL逻辑查询语句执行顺序

(7) SELECT 
(8) DISTINCT 
(1) FROM 
(3)  JOIN 
(2) ON 
(4) WHERE 
(5) GROUP BY 
(6) HAVING 
(9) ORDER BY 
(10) LIMIT 

你可能感兴趣的:(百万级数据分页查询优化)