poi大数据量生成excel

使用poi生成excel，当遇到大数据量时，会有几个问题：

 

1. 目前office2003 excle每个sheet最大支持行数为65536，当数据超过65536行时，会报异常

2. 当列为17列左右,数据行数达到50w条左右时，会包OOM错误

Exception in thread "15124183@qtp-16902686-1" java.lang.OutOfMemoryError: Java heap space
Exception in thread "Thread-13" java.lang.OutOfMemoryError: Java heap space
        at org.apache.poi.hssf.usermodel.HSSFRow.createCell(HSSFRow.java:141)
        at org.apache.poi.hssf.usermodel.HSSFRow.createCell(HSSFRow.java:119)

 

问题1比较好解决，每次写入数据时，都获取sheet最后一行，在最后一行后继续写入数据，判断当最大行数大于65536或再小些，生成新的sheet，就能解决此问题。

具体代码片段

   int sheetLastSize = sheet.getLastRowNum();
            // 如果数据是最大写入数的整数倍（Constants.EXCEL_SHEET_DATASIZE为最大行数）
            if (sheetLastSize >= Constants.EXCEL_SHEET_DATASIZE) {
                sheet = workbook.createSheet();
                sheetLastSize = sheet.getLastRowNum();
                log.info("sheetLast Size:=========" + sheetLastSize);
                mapInfo.put("sheet", sheet);
                // 处理标题头
                processExcelTitle(dataset, workbook, sheet);
            }

 

问题2 目前没有较好的解决办法。由于每行都要生成多个cell对象，当数据量大时，java GC还没来得及回收，导致最后没有内存创建cell对象。现在正测试一种方法（只是暂时缓解，不是最好的办法），每次写入数据后，把row赋值null，定时调用System.GC();没有别的好办法，只能暂时测试下。

还是不行，仍然溢出！

 

 

 

/**
     * 传入已存在的workbook和数据源，向excel中追加数据,每个sheet大于指定行数时，创建新的sheet
     *
     * @param workbook
     *            已存在的工作薄
     * @param dataset
     *            写入数据集合
     * @param mapInfo
     *                 准备数据map
     */
    @SuppressWarnings("unchecked")
    private void dynamicExcel(HSSFWorkbook workbook, Map dataset, Map mapInfo) {
        Map headers = (Map) dataset.get("1");
        Iterator> titleIter = headers.entrySet().iterator();

        // 取得所有行的数据
        List> valueList = (List>) dataset.get("2");
        wroteRecodeSize += valueList.size();
        log.info("this times size is:------------------------------------------------------" + valueList.size());
        log.info("total wrote recode size is:------------------------------------------------" + wroteRecodeSize);
        HSSFSheet sheet = (HSSFSheet) mapInfo.get("sheet");
        for (int i = 0; i < valueList.size(); i++) {
            int sheetLastSize = sheet.getLastRowNum();
            // 如果数据是最大写入数的整数倍
            if (sheetLastSize >= Constants.EXCEL_SHEET_DATASIZE) {
                sheet = workbook.createSheet();
                sheetLastSize = sheet.getLastRowNum();
                log.info("sheetLast Size:=========" + sheetLastSize);
                mapInfo.put("sheet", sheet);
                // 处理标题头
                processExcelTitle(dataset, workbook, sheet);
            }
            // 追加行
            HSSFRow row = sheet.createRow(sheetLastSize + 1);
            sheet.setDefaultColumnWidth(25);
            // 取得一行所有记录的所有值
            int dataIndex = 0;
            Map values = valueList.get(i);
            titleIter = headers.entrySet().iterator();
            while (titleIter.hasNext()) {
                Map.Entry entry = (Map.Entry) titleIter.next();
                String key = entry.getKey();
                HSSFCell cell = row.createCell(dataIndex++);
//                String v = values.get(key);
                cell.setCellValue(values.get(key));
            }
           
        }
    }