Java项目中Excel百万级别的导入导出

在Excel文件导入过程中实际上有两个问题 (采用apche poi的方式)
* xls的文件限制了不能一次性导出65536条数据
* 实际过程中Excel文件的解析有可能会造成内存溢出的问题
* mybatis（mysql）批量导入数据性能过差

内存泄漏：是指申请的内存空间无法正常被收回，造成“无用又不可收回”的状况内存溢出：指程序在申请内存空间时，已经没有足够的内存空间被使用。（内存泄漏通常是内存溢出的主要原因）针对上述的问题，需要对项目进一步地优化：
1. 文件上传到服务器的请求方式使用ftp而不是http
2. 尽可能减少遍历的次数
3. 使用StringBuffer而不是String (并且StringBuffer相对于StringBuilder线程安全的)
4. 使用FileWriter写入文件时要要一次写入，减少IO读写次数
5. 采用多线程的方式去批量地提交事务 （补充 提供List.subList(开始index，结束index)的方式截取集合，或者采用流式表达式的方式进行切分）https://blog.csdn.net/FKJGFK/article/details/104004216
6. mysql数据库不能同时支持30万数据的 一次性事务提交，需要分批次地去进行事务的提交，否则数据将堆积到mysql数据库中，导致数据库性能过低。（需要采用编程式事务的方式分批次多次提交）

方式一：优化内存

针对内存溢出的情况我们做以下调整：
1.提高了编译器的jvm的空间 -Xms128m -Xmx1700m （在项目的启动脚本中 nohup -Xms128m -Xmx1700m -jar 包名 & ）
2.创建Workbook 借助xlsx-streamer（StreamingReader） 来创建一个缓冲区域批量地读取文件 （不会将整个文件实例化到对象当中）
依赖

   com.monitorjbl
   xlsx-streamer
   2.1.0

实现方式

public List<AddressBookPojo> importExcelxlsx( String tmpFile ) {
    List<AddressBookPojo> list = new ArrayList<AddressBookPojo>();
    FileInputStream in=null;
    try {
        in = new FileInputStream(tmpFile);
        Workbook wk = StreamingReader.builder()
                .rowCacheSize(1000)  //缓存到内存中的行数，默认是10
                .bufferSize(8192)  //读取资源时，缓存到内存的字节大小，默认是1024
                .open(in);  //打开资源，必须，可以是InputStream或者是File，注意：只能打开XLSX格式的文件
        Sheet sheet = wk.getSheetAt(0);
        int i =0;
        for (Row row : sheet) {
            i++;//从第2行开始取数据,默认第一行是表头.
            if(i==1)
                continue;
            AddressBookPojo abp = new AddressBookPojo();
            //遍历所有的列
            int j=0;
            for (Cell cell : row) {
                switch (j) {
                    case 0 :abp.setName(cell.getStringCellValue());break;
                    case 1 :abp.setFristDepartName(cell.getStringCellValue());break;
                    /**这里省略其他的属性**/
                    default: break;
                }
                j++;
            }
            list.add(abp);
        }
    } catch (IOException e) {
        e.printStackTrace();
    }finally {
        IOUtils.closeQuietly(in);
    }
    return list;
}

方式二：EasyExcel

EasyExcel是阿里的引用了apache poi，所以不能再引用apache poi的依赖。
使用lombok可以简化Excel对POJO的绑定关系。
依赖

   com.alibaba
   easyexcel
   1.1.2-beat1





   org.projectlombok
   lombok
   1.18.2
   true

工具类

package com.xiyuan.startingpoint.utils;
import com.alibaba.excel.EasyExcelFactory;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.alibaba.excel.metadata.BaseRowModel;
import com.alibaba.excel.metadata.Sheet;
import lombok.Data;
import lombok.Getter;
import lombok.Setter;
import lombok.extern.slf4j.Slf4j;
import org.apache.poi.ss.usermodel.Workbook;
import org.springframework.util.CollectionUtils;
import org.springframework.util.StringUtils;

import javax.servlet.http.HttpServletResponse;
import java.io.*;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;

/**
 * @description:
 * @author: chenmingjian
 * @date: 19-3-18 16:16
 */
@Slf4j
public class ExcelUtil {

    private static Sheet initSheet;

    static {
        initSheet = new Sheet(1, 0);
        initSheet.setSheetName("sheet");
        //设置自适应宽度
        initSheet.setAutoWidth(Boolean.TRUE);
    }

    public static void downLoadExcel(String fileName, HttpServletResponse response, Workbook workbook) {
     try {
            response.setCharacterEncoding("UTF-8");
            response.setContentType("application/octet-stream;charset=utf-8");
            response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(fileName, "UTF-8"));
            workbook.write(response.getOutputStream());
        } catch (IOException e) {
            // throw new NormalException(e.getMessage());
        }
    }

    /**
     * 读取少于1000行数据
     * @param filePath 文件绝对路径
     * @return
     */
    public static List<Object> readLessThan1000Row(String filePath){
        return readLessThan1000RowBySheet(filePath,null);
    }

    /**
     * 读小于1000行数据, 带样式
     * filePath 文件绝对路径
     * initSheet ：
     *      sheetNo: sheet页码，默认为1
     *      headLineMun: 从第几行开始读取数据，默认为0, 表示从第一行开始读取
     *      clazz: 返回数据List