记一次数据导出性能优化

管理员后台导出月度数据，数据量约20w

原功能每次限制5w数据查询导出，操作繁琐。新功能仅需选择时间区间可全部导出。

实现方式

针对原方式的限定5w数据查询，修改为按5w分页查询，每页数据存储在Excel文件的一个sheet表中。

修改后的表现

按照20w数据测试，导出速度慢，分页查询时，常出现数据库连接超时情况。从日志记录的时间看，主要问题在于数据查询，数据导出为10多秒。

问题分析

原数据查询接口使用mybatis自动生成的单表查询接口，包含较多未使用字段，业务处理中包含了对码值的循环处理，以及DO和VO的转换，20w数据的循环次数很多，创建sheet文件时，使用反射的方式循环取值。

修改方式

1. 采用自定义的sql语句进行数据查询，仅查询报表表样需要的数据
2. 去掉DO与VO的转换，因为数据是直接写入文件后导出，没有转换的必要
3. 去掉业务中对码值的转换，改为sql语句中处理转码操作
4. 修改Excel导出api，由原有的反射取值方式，修改为采用回调方式，由调用类实现VO的取值方法，api进行回调，避免使用反射，同时可以确保表头和内容的顺序对应（可选）

修改后效果

修改后，数据查询不在出现超时情况，测试环境上20w数据查询时间在6s左右，文件导出用时16s左右基本满足需求。

一些收获

有关性能优化的问题，首要要找到性能瓶颈，然后分析原因，再提出优化方式。
开发环境并不适用于性能优化的测试，因为硬件，网络等各种原因都会产生影响，应该尽量在贴近生产的环境进行测试处理。