Java使用POI导出大数据量Excel

背景

今天需要写一个导出的Excel的功能,但是发现当数据量到3万条时,列数在23列时,内存溢出,CPU使用100%,测试环境直接炸掉。在本地测试时发现,导出3000条左右的数据的时候,堆内存瞬间升高500M左右。然后发现了SXSSFWorkbook这个类。

简介

SXSSFWorkbook 需要poi-ooxml3.8及以上开始支持,我这边适使用的是3.9版本,本质是一个XSSFWorkbook类(Excel2007),它使用的方式是采用硬盘空间来大幅降低堆内存的占用,在系统的临时文件夹目录创建一个临时文件,然后将所有大于约定行数的数据都存入临时文件,而不是全部放在内存中,内存中只存放最新的的约定条数的数据,从而实现以硬盘空间换取内存空间,避免内存溢出

使用方式

与正常的Excel导出方法没有区别,只是将实例化的类换为SXSSFWorkbook

            SXSSFWorkbook workbook = null;
            OutputStream outputStream = null;
            try {
                outputStream = response.getOutputStream();
                //创建工作簿
                workbook = new SXSSFWorkbook();
                // 打开压缩功能 防止占用过多磁盘
                workbook.setCompressTempFiles(true);

                // 创建一个工作表
                Sheet sheet = workbook.createSheet("表名");
                // 创建一行
                Row titleRow = sheet.createRow(0);
                // 创建一个单元格
                Cell cell = titleRow.createCell(0);
                // 给单元格赋值
                cell.setCellValue("内容");

                // 将工作簿写入输出流
                workbook.write(outputStream);
            } catch (Exception e) {
                e.printStackTrace();
            }finally {
                if (workbook != null) {
                    //使用完毕后将产生的临时文件删除 防止将磁盘搞满
                    workbook.dispose();
                }
                if (outputStream != null) {
                    outputStream.close();
                    
                }


            }

注意点

  • 最好开启压缩模式
    workbook.setCompressTempFiles(true); 这样可以使得临时文件体积大幅减少

  • 使用完毕后释放
    workbook.dispose(); 防止临时文件一直增加 撑爆硬盘

你可能感兴趣的:(Java使用POI导出大数据量Excel)