java将百万级别数据导出到Excel中,用时仅需要98941毫秒

跟大家分享一款Excel组件,之所以分享这款,是因为它在处理excel时很方便,我将百万数据导出到excel,耗时仅不用两分钟。

poi概述

Apache POI是Apache软件基金会的开放源码函式库,POI提供API给Java程序对Microsoft Office格式档案读和写的功能。

java将百万级别数据导出到Excel中,用时仅需要98941毫秒_第1张图片

poi

ide:Intellij IDEA

类库需求poi:3.17

Excel 版本是2007-2010,我们知道,excel一张表最大支持1048576行,16384列。要将百万级别的数据导出到excel,可接近excel单张表的存款大小了。

poi接入到spring boot ,并不复杂,简单两步就可以完成了。

在pom中引入配置,编写个辅助类

1、pom文件

java将百万级别数据导出到Excel中,用时仅需要98941毫秒_第2张图片

pom配置poi组件

源码如下:



 org.apache.poi
 poi
 3.17


 org.apache.poi
 poi-ooxml
 3.17


 org.apache.poi
 poi-ooxml-schemas
 3.17
/**
 * POI辅助类
 */
public class POIUtil {
 /**
 * 导出到excel
 * @param filePath 文件存储路径
 * @throws IOException
 */
 public static void exportExcel(String filePath) throws IOException {
 //1.在内存中创建一个excel文件
 SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(100);
 //2.创建工作簿
 Sheet sheet = sxssfWorkbook.createSheet("数据");
 for (int i = 0; i < 1000000; i++) {
 Row row = sheet.createRow(i);
 for (int j = 0; j < 11; j++) {
 if(i == 0) {
 //3.创建标题行
 row.createCell(j).setCellValue(" 列" + j);
 } else {
 //4.遍历数据,创建数据行
 if (j == 0) {
 CellUtil.createCell(row, j, String.valueOf(i));
 } else
 CellUtil.createCell(row, j, String.valueOf(getData()));
 }
 }
 }
 FileOutputStream out = new FileOutputStream(filePath);
 sxssfWorkbook.write(out);
 out.close();
 }

 /**
 * 填充数据
 * @return
 */
 public static String getData(){
 DecimalFormat df = new DecimalFormat("######0.00");
 double shoot= Math.random();
 return df.format(shoot);
 }

程序运行入口

public class Main {
 final static String path = "E:\\data.xlsx";

 public static void main(String[] args) throws Exception {
 long beginTime = System.currentTimeMillis();
 POIUtil.exportExcel(path);
 long endTime = System.currentTimeMillis();
 System.out.println("耗时:" + (endTime - beginTime));
 }
}

耗时:98941

一百万条数据,11列,文件大小有30多M。

数据结果

java将百万级别数据导出到Excel中,用时仅需要98941毫秒_第3张图片

excel数据

之前处理百万数据的时候,为了方便,直接把数据存入到了内存,可想而知,总是出现oom异常信息,被总监训了一顿,后来找了一些资料,找到了poi组件。

现在好了,使用poi组件,大大提高了性能,也没有出现oom的情况了,总监很满意,客户也很满意,总算给客户一个较好的体验了。

如果你用java实现处理excel数据时,建议你尝试用poi组件试试。

对于excel数据处理,不知道您有没有更好的组件推荐。

由于笔者知识水平有限,文中错漏之处在所难免,如有不足之处,欢迎纠正,感谢。

java将百万级别数据导出到Excel中,用时仅需要98941毫秒_第4张图片

微信公众号:爱开发

往期推荐:

互联网行业又一轮大裁员,人人自危,究竟哪些人最容易被裁掉?

互联网公司接二连三地曝出裁员,看得我好焦虑

新来的架构师对我说,“你怎么用count(*),太慢了,用count(1)”

你可能感兴趣的:(poi,大数据,excel,java,hadoop)