导出百万数据优化 分批写入_POI如何高效导出百万级Excel数据？
在一个具有统计功能的系统中，导出excel功能几乎是一定的，如何导出excel？导出的数据有多少？如何高效的导出？
Excel简介
什么是excel就不用介绍了，这里主要说明不同版本下每个sheet下的行列限制。
| 版本区间 | 行数 | 列数 | 文件后缀 |
|---|---|---|---|
| Excel 2003及以下 | 65535 | 256 | xls |
| Excel 2007及以上 | 1048576 | 16384 | xlsx |
由上面可知 Excel 2003及以下是无法实现单sheet百万级的数据。
Apache POI
简介
Apache POI 是用Java编写的免费开源的跨平台的 Java API，Apache POI提供API给Java程式对Microsoft Office(Excel、WORD、PowerPoint、Visio等)格式档案读和写的功能。POI为“Poor Obfuscation Implementation”的首字母缩写，意为“可怜的模糊实现"。
常用类
HSSF － 提供读写Microsoft Excel XLS格式档案的功能。
XSSF － 提供读写Microsoft Excel OOXML XLSX格式档案的功能。
SXSSF － 一种基于XSSF的低内存占用的API(3.8版本开始出现)。
HWPF － 提供读写Microsoft Word DOC97格式档案的功能。
XWPF － 提供读写Microsoft Word DOC2003格式档案的功能。
HSLF － 提供读写Microsoft PowerPoint格式档案的功能。
HDGF － 提供读Microsoft Visio格式档案的功能。
HPBF － 提供读Microsoft Publisher格式档案的功能。
HSMF － 提供读Microsoft Outlook格式档案的功能。
我们这里是导出Excel，所以使用的是前三个。
导出策略
方案
1.使用XSSF和SXSSF分别导入1w,10w,100w数据
2.使用SXSSF，SXSSF以10w分页，SXSSF多线程以10w分页导入100w数据
性能对比
时间不包含网络耗时
| 类型 | 1w条/时间 | 10w条/时间 | 100w条/时间 |
|---|---|---|---|
| XSSF | 1331ms | 10496ms | 小心电脑? |
| SXSSF | 1568ms | 600ms | 5824ms |
| 类型 | 100w条/时间 | 200w/时间 |
|---|---|---|
| SXSSF | 5824ms | 超过最大行数 |
| SXSSF Page | 6040ms | 12473ms |
| SXSSF Page Thread | 3410ms | 6217ms |
总结
方案一
数据在万条时XSSF和SXSSF相差不大
数据上十万后SXSSF性能开始突出
数据到达百万时，XSSF已不适合使用
方案二
不进行分表时，SXSSF最多可存储1048576行
百万级数据分表存储时，使用多线程导出几乎是不使用多线程导出的一半时间
最终我得出一个导出百万级数据的最高效方案：多线程分表导出
实战
controller层
@RestController
@RequestMapping("export")
public class ReportController {
public static final String[] TITLE = new String[]{"第1列", "第2列", "第3列", "第4列", "第5列"};
public static final String SHEET_NAME = "page1";
@RequestMapping(value = "/sxssf/page/thread")
@ResponseBody
public void exportSXSSFWorkbookByPageThread(HttpServletResponse response, Integer num) throws Exception {
//excel文件名
String fileName = System.currentTimeMillis() + ".xlsx";
//sheet名
if (Objects.isNull(num)) {
num = 65536;
}
String[][] content = buildContent(num);
long start = System.currentTimeMillis();
SXSSFWorkbook wb = ExcelUtil.getSXSSFWorkbookByPageThread(TITLE, content, null);
long millis = System.currentTimeMillis() - start;
long second = millis / 1000;
System.out.println("SXSSF Page Thread 导出" + num + "条数据，花费：" + second + "s/ " + millis + "ms");
writeAndClose(response, fileName, wb);
wb.dispose();
}
/**
* 构建内容
* @param num
* @return
*/
private String[][] buildContent(Integer num) {
String[][] content = new String[num][5];
for (int i = 0; i < content.length; i++) {
content[i][0] = "1";
content[i][1] = "2";
content[i][2] = "3";
content[i][3] = "4";
content[i][4] = "5";
}
return content;
}
private void writeAndClose(HttpServletResponse response, String fileName, Workbook wb) {
try {
this.setResponseHeader(response, fileName);
OutputStream os = response.getOutputStream();
wb.write(os);
os.flush();
os.close();
} catch (Exception e) {
e.printStackTrace();
}
}
public void setResponseHeader(HttpServletResponse response, String fileName) {
try {
try {
fileName = new String(fileName.getBytes(), "UTF-8");
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
response.setContentType("application/octet-stream;charset=ISO8859-1");
response.setHeader("Content-Disposition", "attachment;filename=" + fileName);
response.addHeader("Pargam", "no-cache");
response.addHeader("Cache-Control", "no-cache");
} catch (Exception ex) {
ex.printStackTrace();
}
}
}
工具类
public class ExcelUtil {
public static final int PER_SHEET_LIMIT = 500000;
public static SXSSFWorkbook getSXSSFWorkbookByPageThread(String[] title, String[][] values) {
SXSSFWorkbook wb = new SXSSFWorkbook();
int pageNum = values.length / PER_SHEET_LIMIT;
int lastCount = values.length % PER_SHEET_LIMIT;
if (values.length > PER_SHEET_LIMIT) {
CellStyle style = wb.createCellStyle();
int sheet = lastCount == 0 ? pageNum : pageNum + 1;
CountDownLatch downLatch = new CountDownLatch(sheet);
Executor executor = Executors.newFixedThreadPool(sheet);
for (int c = 0; c <= pageNum; c++) {
int rowNum = PER_SHEET_LIMIT;
if (c == pageNum) {
if (lastCount == 0) {
continue;
}
rowNum = lastCount;
}
Sheet sheet = wb.createSheet("page" + c);
executor.execute(new PageTask(downLatch, sheet, title, style, rowNum, values));
}
try {
downLatch.await();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
return wb;
}
}
分表任务类
public class PageTask implements Runnable {
private CountDownLatch countDownLatch;
private Sheet sheet;
private String[] title;
private CellStyle style;
private int b;
private String[][] values;
public PageTask(CountDownLatch countDownLatch, Sheet sheet, String[] title, CellStyle style, int b, String[][] values) {
this.countDownLatch = countDownLatch;
this.sheet = sheet;
this.title = title;
this.style = style;
this.b = b;
this.values = values;
}
@Override
public void run() {
try {
Row row = sheet.createRow(0);
Cell cell = null;
for (int i = 0; i < title.length; i++) {
cell = row.createCell(i);
cell.setCellValue(title[i]);
cell.setCellStyle(style);
}
for (int i = 0; i < b; i++) {
row = sheet.createRow(i + 1);
for (int j = 0; j < values[i].length; j++) {
row.createCell(j).setCellValue(values[i][j]);
}
}
} catch (Exception e) {
e.printStackTrace();
} finally {
if (countDownLatch != null) {
countDownLatch.countDown();
}
}
}
}
献给所有的程序媛，女王节快乐
海内存知己,天涯若比邻，喜欢就关注吧！
