Excel百万数据导入导出思路

导入:

 第一种方式: POI有 SAX 解析 Excel  一行一行读取到redis 的队列中, 然后批量从redis 中 取出来 写到数据库中.(批量提交)

 第二种方式: https://github.com/monitorjbl/excel-streaming-reader  stream流式导入,内存中只保留制定的数据量 (经过测试)

 第三种方式:  load data infile 的方式,导入的大数据Excel写成 load data file的格式, 然后 jdbc 执行 load data file 命令文章:

https://blog.csdn.net/breeze2003/article/details/51372803

 

 

 

导出: 

第一种方式: 百万数据写 xml , 命名为 csv, 百万数据很快就写完,不占用什么内存,以及 CPU (经过测试)

第二种方式:     SXSSF:从POI3.8 beta3开始支持,基于XSSF,低内存占用,专门处理大数据量(建议)   值得注意的是SXSSFWorkbook只能写(导出)不能读(导入)