EXCEL大数据导出(100W条)

     EXCEL导出,如果说上了数十万条,那么走内存直接一次性导出相当的困难,我本地的内存调的相对较小,所以大概5-6万条就不行了,我在createCell加了一个输出语句,循环到5-6万条,就会非常非常慢,每次createCell一次,需要5-10S,后面会越来越慢。解决这种事情,一般的解决思路是,每次到一定量的数据就输出到一个文件,最后汇总成一个文件。POI提供了SXSSFWorkbook,判断一下,然后直接利用多态的思想,进行类的绑定,对于我们这些程序员来说还是非常方便的。

              Workbook  workbook;

   if(arlist.size()<50000){
    workbook = new XSSFWorkbook();
   }else{
    workbook = new SXSSFWorkbook();
   }

   将一定的两的数据输出到一个文件,最后汇总,当然这是有很多可以优化的地方,我看一下,POI的写法,它是压缩了文件,然后最后write的时候进行解压,如果不进行压缩直接进行读取,效率可能会更高,但是相对临时空间可能需要更大,下面是POI的write中调用InjectData的代码

   

  private void injectData(File zipfile, OutputStream out) throws IOException 
    {
        ZipFile zip = new ZipFile(zipfile);
        try
        {
            ZipOutputStream zos = new ZipOutputStream(out);
            try
            {
                @SuppressWarnings("unchecked")
                Enumeration en = (Enumeration) zip.entries();
                while (en.hasMoreElements()) 
                {
                    ZipEntry ze = en.nextElement();
                    zos.putNextEntry(new ZipEntry(ze.getName()));
                    InputStream is = zip.getInputStream(ze);
                    XSSFSheet xSheet=getSheetFromZipEntryName(ze.getName());
                    if(xSheet!=null)
                    {
                        SXSSFSheet sxSheet=getSXSSFSheet(xSheet);
                        InputStream xis = sxSheet.getWorksheetXMLInputStream();
                        try
                        {
                            copyStreamAndInjectWorksheet(is,zos,xis);
                        }
                        finally
                        {
                            xis.close();
                        }
                    }
                    else
                    {
                        copyStream(is, zos);
                    }
                    is.close();
                }
            }
            finally
            {
                zos.close();
            }
        }
        finally
        {
            zip.close();
        }
    }

你可能感兴趣的:(EXCEL大数据导出(100W条))