为了批量导入数据,采用了csv文件存储数据,后端写csv解析工具对数据进行读取和解析并导入数据库。(使用opencsv)
pom依赖:
com.opencsv
opencsv
4.3.2
1、解析csv文件工具类(通用)(MultipartFile)
public class CsvUtil {
/**
* 日志对象
*/
private static final Logger LOGGER = LoggerFactory.getLogger(CsvUtil.class);
/**
* 解析csv文件并转成bean
* @param file csv文件
* @param clazz 类
* @param 泛型
* @return 泛型bean集合
*/
public List getCsvData(MultipartFile file, Class clazz) {
InputStreamReader in;
try {
in = new InputStreamReader(file.getInputStream(), "gbk");
} catch (Exception e) {
LOGGER.error(Constant.LOG_FOMAT_TYPE_TWO,
ErrorCode.FILE_LOAD_ERROR.getErrorCode(),
ErrorCode.FILE_LOAD_ERROR.getMessage(),
e.getMessage());
throw BaseException.of(ErrorCode.FILE_LOAD_ERROR.of());
}
HeaderColumnNameMappingStrategy strategy = new HeaderColumnNameMappingStrategy<>();
strategy.setType(clazz);
CsvToBean csvToBean = new CsvToBeanBuilder(in)
.withSeparator(',')
.withQuoteChar('\'')
.withMappingStrategy(strategy).build();
return csvToBean.parse();
}
}
或者(File)
public class CsvUtil {
/**
* 日志对象
*/
private static final Logger LOGGER = LoggerFactory.getLogger(CsvUtil.class);
/**
* 解析csv文件并转成bean
* @param file csv文件
* @param clazz 类
* @param 泛型
* @return 泛型bean集合
*/
public List getCsvData(File file, Class clazz) {
FileReader fr;
try {
fr = new FileReader(file);
} catch (Exception e) {
LOGGER.error(Constant.LOG_FOMAT_TYPE_TWO,
ErrorCode.FILE_LOAD_ERROR.getErrorCode(),
ErrorCode.FILE_LOAD_ERROR.getMessage(),
e.getMessage());
throw BaseException.of(ErrorCode.FILE_LOAD_ERROR.of());
}
HeaderColumnNameMappingStrategy strategy = new HeaderColumnNameMappingStrategy<>();
strategy.setType(clazz);
CsvToBean csvToBean = new CsvToBeanBuilder(fr)
.withSeparator(',')
.withQuoteChar('\'')
.withMappingStrategy(strategy).build();
return csvToBean.parse();
}
}
2、csv文件
3、csv文件对应的bean对象DataAndTypeCsv.java
public class DataAndTypeCsv {
/**
* 字典代码
*/
@CsvBindByName(column = "code")
private String code;
/**
* 简写
*/
@CsvBindByName(column = "short_name")
private String shortName;
/**
* 名称
*/
@CsvBindByName(column = "name", required = true) //是否可以为null 否
private String name;
/**
* 拼音或英文描述
*/
@CsvBindByName(column = "remark")
private String remark;
/**
* 父类型id
*/
@CsvBindByName(column = "parent_id")
private Integer parentId;
/**
* 类型名称
*/
@CsvBindByName(column = "type_name", required = true) //是否可以为null 否
private String typeName;
/**
* 类型id
*/
@CsvBindByName(column = "type_id", required = true) //是否可以为null 否
private Integer typeId;
……
get、set方法
……
bean对象通过注解@CsvBindByName(column = “”, required = true) 映射csv文件的列名,并检查列数据是否为空,若是csv文件中该列存在值为空的情况会报错。
如果没有表头,则可使用@CsvBindByPosition(position = 0)
4、应用
controller层定义restful接口:
@Transactional(rollbackFor = BaseException.class)
@PostMapping
public Map batchInsert(MultipartFile file) {
CsvUtil csvUtil = new CsvUtil();
// 将csv文件内容转成bean
List csvData = csvUtil.getCsvData(file, DataAndTypeCsv.class);
……
}
postman调用接口测试:
扩展
withQuoteChar()方法的作用
1. opencsv提供了基于"策略"的映射,将CSV绑定到bean。关系如下图:
2. 接口名与策略匹配如下(参考:https://www.jianshu.com/p/6414185b2f01):
接口名 | 策略 |
---|---|
MappingStrategy | 顶级的映射接口 |
headerColumnNameMappingStrategy | 基于列名的映射策略,读取csv文件的第一行作为header,比如header1,header2,header3 然后调用bean的setHeader1方法,setHeader2方法,setHeader3方法分别设置值。**所以这种策略要求,列名与bean中的属性名完全一致,如果不一致,则值为空,不会出错。使用注解时,注解名字必须与csv中列名一致。 |
ColumnPositionMappingStrategy | 列位置映射策略,他没有header的概念,所以会输出取所有行。在columnMapping数组中指定bean的属性,第一个值对应csv的第一列,第二个值对应csv的第二列…… |
HeaderColumnNameTranslateMappingStrategy | 列头名字翻译映射策略,与HeaderColumnNameMappintStrategy相比,bean的属性名可以与csv列头不一样。通过指定map来映射。 |
或简版(参考:https://www.jianshu.com/p/cb59458d5a34)
接口 | 策略 |
---|---|
MappingStrategy | 顶级接口 |
HeaderColumnNameMappingStrategy | 基于DTO属性名或注解与csv头进行映射 |
ColumnPositionMappingStrategy | 基于DTO属性数组顺序或注解指定顺序进行映射 |
HeaderColumnNameTranslateMappingStrategy | 基于csv头和DTO属性的map关系进行映射 |
注:bean的类型只能为基本数据类型以及String类型,若是BigDecimal类型,那么将会抛出异常。
转载自,对原文有内容增加:https://blog.csdn.net/qq_21084687/article/details/84333188