最近接到一个需求,概要来讲就是实现百万级数据导出Excel,并根据其中的数据项自动生成折线图等图表。经技术调研,针对内存、性能等要素,Apache POI此技术可完成此需求。
Apache POI是Apache软件基金会的开放源码函式库,POI提供API给Java程序对Microsoft Office格式文件读和写的功能。 .NET的开发人员则可以利用NPOI(POI for .NET)来访问POI的功能。
Apache POI发行版支持多种文档文件格式。这种支持在几个Jar文件中提供。并不是每种格式都需要所有的Jar。下表显示了POI组件、Maven存储库标记和项目的Jar文件之间的关系。
组件 | 应用类型 | Maven 工件名 |
---|---|---|
POIFS | OLE2 Filesystem | poi |
HPSF | OLE2 Property Sets | poi |
HSSF | Excel XLS | poi |
HSLF | PowerPoint PPT | poi-scratchpad |
HWPF | Word DOC | poi-scratchpad |
HDGF | Visio VSD | poi-scratchpad |
HPBF | Publisher PUB | poi-scratchpad |
HSMF | Outlook MSG | poi-scratchpad |
DDF | Escher common drawings | poi |
HWMF | WMF drawings | poi-scratchpad |
OpenXML4J | OOXML | poi-ooxml plus either poi-ooxml-lite or poi-ooxml-full |
XSSF | Excel XLSX | poi-ooxml |
XSLF | PowerPoint PPTX | poi-ooxml |
XWPF | Word DOCX | poi-ooxml |
XDGF | Visio VSDX | poi-ooxml |
Common SL | PowerPoint PPT and PPTX | poi-scratchpad and poi-ooxml |
Common SS | Excel XLS and XLSX | poi-ooxml |
该表将工件映射到jar文件名中。“版本yyyymmdd”是POI版本戳。
Maven 工件名 | 先决条件 |
---|---|
poi | log4j 2.x, commons-codec, commons-collections, commons-math3 commons-io |
poi-scratchpad | poi |
poi-ooxml | poi, poi-ooxml-lite, commons-compress, SparseBitSet xmlgraphics-commons rototor graphics2d |
poi-ooxml-lite | xmlbeans |
poi-examples | poi, poi-scratchpad, poi-ooxml |
poi-ooxml-full (known as ooxml-schemas) | xmlbeans xmlsec, slf4j-api |
排查问题发现:Office Excel版本为最新:(现版本为MS 365系列,Excel版本为2311.)而Apache POI相关依赖过旧,更新为最新依赖,则排除此问题。
调整相关依赖版本为最新:
org.apache.poi
poi
5.2.5
org.apache.poi
poi-ooxml-lite
5.2.5
org.apache.poi
poi-ooxml
5.2.5
org.apache.poi
poi-scratchpad
5.2.5
org.apache.poi
poi-ooxml-full
5.2.5
org.apache.commons
commons-collections4
4.4
commons-codec
commons-codec
1.15
org.apache.commons
commons-compress
1.25.0
org.apache.xmlbeans
xmlbeans
5.2.0
主要区别:
总之,XSSFWorkbook适用于较小的Excel文件,而SXSSFWorkbook适用于大型或复杂的Excel文件。选择哪个取决于具体需求和资源限制。当然亦可选取学习成本更低且对内存消耗更低的EasyExcel实现大数据导出。
注意POI中XSSFWorkbook不可采用多线程写入不同sheet:
SXSSFDrawing不可生成Chart图表,
XSSFDrawing可实现此功能。 SXSSFDrawing
是Apache POI库中的一种轻量级方式来处理大型Excel文件,它主要用于写入和操作Excel文件,而不是生成图表。可以使用XSSFWorkbook
和XSSFSheet
类来创建图表,并使用相应的数据填充图表。
Apache POI库中的SXSSFWorkbook(Streaming Usermodel for Excel)是一种用于处理大型Excel文件的类,特别适用于内存有限的情况。它通过限制在内存中保持的数据行数来实现流式写入。
1. `close()`方法:
- 当你完成对工作簿的所有操作后,应调用`close()`方法。此方法会将任何未写出到磁盘的剩余数据强制写出,并关闭所有相关的资源,如临时文件等。
- 如果不调用`close()`,可能会导致部分数据未被正确保存到输出文件,或者占用的系统资源没有被释放。
2. `dispose()`方法:
- 在POI 5.0.0版本之后,SXSSFWorkbook引入了`dispose()`方法作为替代`close()`的方法。
- `dispose()`方法同样用于清理和关闭SXSSFWorkbook对象,确保所有数据都被妥善地写出,并释放与之关联的资源。
- 官方推荐使用`dispose()`而不是`close()`,因为`dispose()`在内部会更彻底地清理资源,特别是对于SXSSF工作簿来说,可以更有效地管理其使用的临时文件。
总结:在使用完SXSSFWorkbook后,建议调用`dispose()`方法以确保所有数据被正确写入并释放资源。在旧版本POI中如果不存在`dispose()`,则应该调用`close()`。
经过研究POI API文档发现,SXSSFWorkbook可利用getXSSFWorkbook方法获取XSSFSheet,之前由于不了解POI,为了利用XSSFSheet生成图表,竟然玩起了俄罗斯套娃,将SXSSFWorkbook写入ByteArrayOutputStream流中,再通过构造器new XSSFWorkbook(new ByteArrayInputStream(baos.toByteArray()))获取XSSFWorkbook对象,进而生成图像,导致JVM堆内存剧增!
致使内存剧增的代码:
ByteArrayOutputStream baos = new ByteArrayOutputStream();
try {
wb.write(baos);
} catch (IOException e) {
e.printStackTrace();
}
try {
xssfWB = new XSSFWorkbook(new ByteArrayInputStream(baos.toByteArray()));
for (DeviceInfoBO item : deviceInfoBOList) {
XSSFSheet xssfSheet = xssfWB.getSheet(item.getSheetName());
//TODO 生成图表
}
return new SXSSFWorkbook(xssfWB);
} catch (IOException e) {
e.printStackTrace();
}
优化后的代码:
XSSFSheet xssfSheet = wb.getXSSFWorkbook().getSheet(deviceInfoBO.getSheetName());
//TODO 生成图表
优雅从不过时~
效果图:
参考资料:
Apache POI简介https://en.wikipedia.org/wiki/Apache_POIApache POI官网https://poi.apache.org/index.htmlApache POI官网代码示例https://svn.apache.org/repos/asf/poi/trunk/poi-examples/src/main/java/org/apache/poi/examples/
stackoverflow相关BUG解决https://stackoverflow.com/questions/52381075/apache-poi-java-lang-noclassdeffounderror-org-apache-commons-compress-archivers