- 需求:文件导入
- 技术:SpringBoot+easyexcel
- 分析:文件导入功能建议将文件上传到OSS等文件存储服务器中,后端获取文件进行解析,可以减轻服务器缓存临时文件的压力,但是因为我们项目中需要解析的文件都很小,所以采用直接接收文件的方式
<!--阿里easyexcel依赖-->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>easyexcel</artifactId>
<version>2.0.5</version>
</dependency>
# 项目中大小限制,Nginx可能也会有限制,如果遇到问题,多加思考
# 单个文件大最大值
spring.http.multipart.maxFileSize=10MB
# 总上传的数据最大值
spring.http.multipart.maxRequestSize=10MB
<form action="..." method="post" enctype="multipart/form-data">
<input type="file" name="file" />
</form>
/**
* 黑名单导入
* @param file 需要导入的文件
* @param otherRequest 其他参数
*/
@PostMapping("/importList")
public String importList(@RequestParam(value = "file", required = false) MultipartFile file,
@RequestParam(value = "otherRequest", required = false) String otherRequest) throws IOException {
// MultipartFile:接收前端导入的文件
// 1.在这里进行一下参数校验,校验必填参数的合法性,建议使用ValidateUtils工具
// 2.返回值自行定义
}
/**
* 黑名单导入,步骤分解
* @param vo BlacklistImportVO类中需要有controller层接收的MultipartFile file属性
*/
@Override
public BlacklistImportResult importList(BlacklistImportVO vo) {
LOGGER.info("打印日志");
try {
// 1.防止同一文件,不同的人同时导入,建议功能加锁
// 2.解析文件,封装对象集合,解析方法抽取放在后面
// 3.文件内容校验,防止文件过大
// 4.业务处理
// 5.处理后的数据插入数据库
// 6.构建返回值
} finally {
// 7.解锁
LOGGER.info("打印日志");
}
}
/**
* 解析文件
*/
private List<EquipmentSnResult> parseImportFile(BlacklistImportVO vo) {
// 用于封装解析文件后的数据
List<EquipmentSnResult> equipmentSnResultList = Lists.newArrayList();
InputStream inputStream = null;
try {
// 获取文件名
String fileName = vo.getFile().getOriginalFilename();
// 获取文件后缀名,截取.后面的类容
String suffix = fileName.substring(fileName.lastIndexOf(StringPool.DOT));
inputStream = vo.getFile().getInputStream();
if (ExcelTypeEnum.XLS.getValue().equals(suffix)) {
// .xls文件
equipmentSnResultList = ExcelListener.parseImportFile(inputStream, ExcelTypeEnum.XLS);
} else if (ExcelTypeEnum.XLSX.getValue().equals(suffix)) {
// .xlsx文件
equipmentSnResultList = ExcelListener.parseImportFile(inputStream, ExcelTypeEnum.XLSX);
} else if (CsvUtil.SUFFIX.equals(suffix)) {
// .csv文件,csv工具类是自己封装的,不属于EasyExcel,可以忽略
equipmentSnResultList = CsvUtil.getInstance().importCsv(inputStream, EquipmentSnResult.class);
} else {
// 不支持格式,抛出异常
throw new BusinessException(ExcelExceptionEnum.IMPORT_FILE_FORMAT_ERROR);
}
} catch (IOException e) {
LOGGER.error("【黑名单导入】导入文件解析异常 message={},statck={}", e.getMessage(), ExceptionUtils.getStackTrace(e));
} finally {
try {
if (inputStream != null) {
inputStream.close();
}
} catch (IOException e) {
LOGGER.error("【黑名单导入】导入文件关闭流异常 message={},statck={}", e.getMessage(), ExceptionUtils.getStackTrace(e));
}
}
return equipmentSnResultList;
}
BaseRowModel:easyExcel提供的基础类;
@ExcelProperty(value = {“设备sn”}, index = 0),index表示导入excel文件的第几列,第一列对应 index = 0,依此类推,它会将这一列的内容解析到带有这个注解的字段中,value意义不大,可不填;
@FormAttribute(title = “设备sn”, index = 1),该注解用来接收接收csv格式的文件,是我自己定义的另一个工具类,删除即可;
/**
* fshows.com
* Copyright (C) 2013-2019 All Rights Reserved.
*/
package com.fshows.finance.business.result.admin.blacklist;
import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.metadata.BaseRowModel;
import com.fshows.finance.common.annotation.FormAttribute;
import lombok.Data;
import java.io.Serializable;
/**
* 黑名单列表导入模板解析实体类
*
* @author liuyuan
* @version EquipmentSnResult.java, v 0.1 2019-10-23 16:24
*/
@Data
public class EquipmentSnResult extends BaseRowModel implements Serializable {
private static final long serialVersionUID = 5038203925148009077L;
@FormAttribute(title = "设备sn", index = 1)
@ExcelProperty(value = {"设备sn"}, index = 0)
private String equipmentSn;
@FormAttribute(title = "状态", index = 2)
@ExcelProperty(value = {"状态"}, index = 1)
private String status;
}
/**
* fshows.com
* Copyright (C) 2013-2019 All Rights Reserved.
*/
package com.fshows.finance.business.listener;
import com.alibaba.excel.ExcelReader;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.alibaba.excel.metadata.Sheet;
import com.alibaba.excel.support.ExcelTypeEnum;
import com.fshows.finance.business.result.admin.blacklist.EquipmentSnResult;
import com.fshows.finance.common.tool.util.BeanCopierUtil;
import com.google.common.collect.Lists;
import java.io.InputStream;
import java.util.List;
/**
* 解析监听器,
* 每解析一行会回调invoke()方法。
* 整个excel解析结束会执行doAfterAllAnalysed()方法
*
* @author liuyuan
* @version ExcelListener.java, v 0.1 2019-10-29 10:01
*/
public class ExcelListener extends AnalysisEventListener {
/**
* 自定义用于暂时存储data ,可以通过实例获取该值
*/
private List<Object> datas = Lists.newArrayList();
@Override
public void invoke(Object o, AnalysisContext analysisContext) {
// 数据存储到list,供批量处理,或后续自己业务逻辑处理。
// 可以在这里进行逐条数据业务处理,也可以像我一样暂存以后统一处理
// 但是如果文件过大,可能会内存溢出或者占用大量服务器内存,所以也可以当datas达到一个一个峰值时统一处理一次,然后清理datas
datas.add(o);
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
//解析结束销毁不用的资源
}
public List<Object> getDatas() {
return datas;
}
public void setDatas(List<Object> datas) {
this.datas = datas;
}
// 用来解析文件,可以单独封装到其他地方
public static List<EquipmentSnResult> parseImportFile(InputStream inputStream,ExcelTypeEnum excelTypeEnum) {
// xls或者xlsx文件
ExcelListener listener = new ExcelListener();
ExcelReader excelReader = new ExcelReader(inputStream, excelTypeEnum, null, listener);
// Sheet(int sheetNo, int headLineMun, Class extends BaseRowModel> clazz)
// sheetNo:解析的sheet,从1开始;
// headLineMun:解析的行数,从0开始,0代表第一行;
// clazz:继承BaseRowModel的实体类,用来接收解析后的返回值;
// 我这边是默认读取第一个sheet和从第二行开始解析
excelReader.read(new Sheet(1, 1, EquipmentSnResult.class));
List<Object> datas = listener.getDatas();
// 将object类型的list转为我们需要的类型,bean浅克隆,网上随便下载一个工具类即可
return BeanCopierUtil.copyList(datas, EquipmentSnResult.class);
}
}
总结:文件导入到这一步就完成了,总体来说是比较简单的,除了前后端联调时前端定义文件格式问题有一点阻塞以外,总体开发是比较顺利的。
但是在项目上线半个月以后,也就是昨天,导入功能突然无法使用,经过一下午的排查,终于找到原因并且解决,这个问题也是我建议大家将文件上传到OSS的原因,下篇将会具体记录这个线上问题。
点击这里:easyexcel GitHub地址