关于SXSSFWorkbook导出大批量数据的问题

前段时间做了一个导出大批量数据的功能,但是由于数据过多使用SXSSFWorkbook会出现内存溢出的问题,


主要有两个地方容易溢出。

1.一个是从数据看读取数据到内存时溢出,基本数据超过20W或者2M时会溢出 这个时候改${jrebel_args}
-Xms1024m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024m 用处都是特别大


2.还有一个就是在FileOutputStream os = new FileOutputStream(path);
       wb.write(os);

时会报内存溢出的异常 


对于这两个地方我是这么处理的,

1.去数据时用的是分页的方法分批取数据,然后写入sheet中。这样就不会报

java.lang.OutOfMemoryError:GC overhead limit exceeded 


2.在输入的时候我查阅了poi的api发现一般是不能大批量数据输入的,但是poi的2007支持大数据处理
Workbook wb = new SXSSFWorkbook(5000);
在生成Workbook 时给工作簿一个内存数据存在条数,这样一旦这个Workbook 中数据量超过5000就会写入到磁盘中,减少内存的使用量来提高速度和避免溢出。

/**
     * 创建一个excel
     * @param exportName
     */
    private void createExcel(String path, int allnum, CalllogExportHistory call){
    try{
                //设置工作簿内存数据保有量
    Workbook wb = new SXSSFWorkbook(5000);
       Sheet sheet= wb.createSheet(OUTBOUND_RECORDS);
       
       //设置默认列宽
       sheet.setDefaultColumnWidth(defaultColumnWidth());
       //开始执行
       createContentHeader(wb, sheet, OutBoundTitle());
       
       int startNum = 0;
    int page = 1;
    int sheetRowNum = 1;
    if(allnum > DEFAULT_ONCE_EXPORT_NUMBER){
    page = allnum/DEFAULT_ONCE_EXPORT_NUMBER + 1;
    }
    //循环读取并写入
    for(int i = 1 ; i <= page; i++){
    //获取对应用户的记录
        List> listCallRecord = outBoundService.queryOutCallRecord(call, startNum);
        //写入文件sheet'记录'中
        System.out.println("第"+i+"次导出:"+listCallRecord.size());
        //数据写入sheet
        createContentRows(sheet, listCallRecord,sheetRowNum);
       
        sheetRowNum =sheetRowNum + listCallRecord.size();
       
                    startNum = startNum + DEFAULT_ONCE_EXPORT_NUMBER;
    }
       


       FileOutputStream os = new FileOutputStream(path);
       wb.write(os);
       //结束
       os.flush();
       os.close();
} catch (Exception e) {
       e.printStackTrace();
   }
    }

只发了一个主体方法方便查看


你可能感兴趣的:(关于SXSSFWorkbook导出大批量数据的问题)