文件上传接口设计
1.问题描述
18年初跳槽来到新公司，在开发中惊奇的发现公司项目中的文件上传功能竟然存在多个接口，他们为每个需要文件上传的业务实现了接口，仔细看了下这些上传文件代码，他们主要区别在于每个业务存储的文件类型、文件大小、是否要压缩需要限制或者是文件路径需要指定不同。这几个特性完全可以配置化定义规则（上家公司就是这么做的，配置化实现公用文件上传接口是一个正确的选择）。究其原因可能大家害怕更改之前的接口会照成bug，索性自己重写一个上传接口（反正是复制粘贴过来改下内容吧）。
下面我们进入主题，如何实现一个根据配置化定义规则的文件上传设计
2.接口定义
后端服务我们直接使用springboot2.X框架，文件上传相关配置信息将入数据库，这样可支持动态修改。测试用例我提供一个html页面，或者你可以直接使用postman。更详细的内容处理请看代码（实现很简单的）
API信息：
接口地址：http://127.0.0.1:8080/uploadFile
请求格式：post | multipart/form-data;
| 参数名 | 必填/类型 | 说明 |
|---|---|---|
| bizType | 是/String | 不同业务对应不同的类型，根据此类型查找文件上传的配置 |
| bizId | 否/Long | 业务id，可以通过该id找到对于的业务信息 |
| isShrink | 否（默认false）/boolean | 是否需要压缩代码为了简介，暂未实现支持是否压缩 |
| file | 是 | 文件信息，支持多文件上传 |
返回列表 JSON： [FileInfo]
3.数据库设计
文件信息配置表 file_conf , 不同业务对应不同的配置，这里主要考虑了文件类型、文件大小、文件存储路径等。（甚至可以扩展出存储目标服务器、文件有效期等规则）
| 字段 | 类型 | 约束 | 说明 |
|---|---|---|---|
| id | int(11) | 必填 | 自增主键id |
| bize_type | varchar(20) | 必填 | 业务类型，不同业务不同的类型 |
| file_type_limit | varchar(200) | 非必填 | 允许上传的文件类型(mine-type标准)，为空时不限制类型 |
| file_size_limit | varchar(20) | 非必填 | 允许上传的文件大小(kb)，为空时不限制大小 |
| path | varchar(50) | 必填 | 服务器存储文件的路径 |
| description | varchar(100) | 非必填 | 描述，如描述该业务类型对应的文件上传业务功能的业务表 |
| resource_realm | varchar (100) | 必填 | 外部访问文件资源相对根路径 |
| enabled | tinyint(4) | 必填 | 是否可用(默认1可用，0禁用),用于禁止某个业务上传文件的功能 |
| creat_time | datetime | 必填 | 创建时间 |
| last_update_time | datetime | 非必填 | 最近修改时间 |
文件信表 file_info ，主要作用保存文件存储的相关信息，方便某些业务需要统计上传文件或删除文件时需要
| 字段 | 类型 | 约束 | 说明 |
|---|---|---|---|
| id | int(11) | 必填 | 自增主键id |
| bize_type | varchar(20) | 必填 | 业务类型 |
| bize_id | int(11) | 非必填 | 业务id |
| original_name | varchar (255) | 必填 | 文件原名称 |
| new_name | varchar(50) | 必填(唯一) | 文件新名称(随机码 |
| file_type | varchar(20) | 必填 | 文件类型 |
| file_size | varchar(20) | 必填 | 文件大小(kb) |
| file_path | varchar(200) | 必填 | 文件服务器存储绝对路径 |
| relative_path | varchar(200) | 必填 | 文件相对路径，域名+此字段为该资源的请求地址 |
| creat_time | datetime | 必填 | 创建时间 |
| last_update_time | datetime | 非必填 | 最近修改时间 |
| del_flag | tinyint(1) | 必填 | 逻辑删除(默认0正常，1文件已被物理删除) |
4.主要代码实现
4.1.实体类信息
对应数据库表结构建立对应实体类`
/**
* 文件配置信息
* table: file_conf
* @author lilee
* @version 1.0.0
* @date 2018/12/20 14:55
*/
public class FileConf {
private Long id; // 主键ID
private String bizType; // 上传服务类型
private String fileTypeLimit; // 文件类型（mine-type标准)，为空不限制上传类型
private String fileSizeLimit; //（kb）文件限制大小，为空不限制上传大小(但要满足框架支持的上传文件大小)
private String path; // 服务器文件夹路径
private String description; // 描述
private String resourceRealm; // 访问资源路径
private Boolean enabled; // 是否可用(默认1可用，0禁用)
private Date createTime; // 创建时间
private Date lastUpdateTime; // 最后修改时间
// setter & getter
}
/**
* 文件信息
* table: file_info
* @author lilee
* @version 1.0.0
* @date 2018/12/20 14:55
*/
public class FileInfo {
private Long id; // 主键ID
private String originalName; // 文件原名称
private String newName; // 文件新名称
private String fileType; // 文件类型（image/jpg, image/png, video/mp4, xsl,doc等)
private String fileSize; // 文件大小（kb）
private String filePath; // 文件服务器存储路径
private String relativePath; // 文件相对路径
private Long bizId; // 业务ID
private String bizType; // 上传服务类型(业务类型)
private Date createTime; // 创建时间
private Date lastUpdateTime; // 最后修改时间
private Boolean delFlag; // 数据删除标记0=正常，1=文件已物理删除
// setter & getter
4.2.数据访问dao
dao层，本实例为了简单，并未提供数据库操作相关代码，该模块需要用户根据自己项目架构自己实现。
当前文件存储到/home/data下
@Repository
public class FileConfDao {
// 根据业务类型bizType获取该业务的配置信息
public FileConf selectByBizType(String bizType) {
// todo 为了简单，未正真的对数据库操作
// FileConf fileConf = dbdao.findByBizType(bizType);
FileConf fileConf = new FileConf();
fileConf.setBizType(bizType);
fileConf.setPath("/home/data");
fileConf.setResourceRealm("/res");
fileConf.setEnabled(true);
return fileConf;
}
// 存储文件的信息
public FileInfo insert(FileInfo fileInfo) {
// dbdao.insert(fileInfo)
return fileInfo;
}
}
4.3.文件上传核心service
该模块实现文件上传的核心，主要包括对文件参数信息验证，对文件上传是否符合业务的配置验证、对配置规则的验证
/**
* TODO 文件上传service
*
* @author lilee
* @version 1.0.0
* @date 2018/12/20 14:55
*/
@Service
public class FileUploadService {
@Resource
private FileConfDao fileConfDao;
// @Resource
// private FileInfoDao fileInfoDao;
protected static Logger log = LoggerFactory.getLogger(FileUploadService.class);
/**
* 文件上传
* @param mpfList 文件信息集
* @param bizType 业务类型(必传)
* @param bizId 业务id
* @param extraPath 额外的路径，首部和结尾不能带斜杠'/'
* @return
*/
public List<FileInfo> uploadFile(List<MultipartFile> mpfList, String bizType, Long bizId, String extraPath) {
// 验证数据begin
// 获取对应业务文件配置信息
FileConf fileConf = this.fileConfDao.selectByBizType(bizType);
if(fileConf == null){
log.info("file conf is null"); // 打印文件配置信息
return null;
}
// 验证文件信息是否符合配置信息
if (!validateFileInfo(mpfList, fileConf)) {
// 验证失败
log.info("fileInfo is error"); // 打印文件配置信息
return null;
}
// 信息验证end
List<FileInfo> files = new ArrayList<>();
FileInfo fileInfo = null;
String path = fileConf.getPath(); // 文件存储的目录
// 获取相对路径，由file_conf、额外路径
String relativePath = fileConf.getResourceRealm() + "/"
+ (StringUtils.isEmpty(extraPath) ? "" : extraPath + "/");
// 验证服务器存储路径是否存在，若不存在，则新建文件夹
File serFile = new File(path + relativePath);
if (!serFile.exists()) {
serFile.mkdirs();
}
// 循环上传文件
for (MultipartFile mpf : mpfList) {
String originalFileName = mpf.getOriginalFilename(); // 获取源文件名
// 生成新文件名
String newFileName = "F" + UUID.randomUUID().toString().replace("-", "").toUpperCase()
+ originalFileName.substring(originalFileName.lastIndexOf("."));
// 组装数据
fileInfo = new FileInfo();
fileInfo.setOriginalName(originalFileName);
fileInfo.setFileSize(String.valueOf(mpf.getSize() / 1024)); // 单位（kb）
fileInfo.setFileType(mpf.getContentType()); // 文件类型
fileInfo.setNewName(newFileName); // 文件新名字
fileInfo.setRelativePath(relativePath + newFileName); // 文件相对路径
fileInfo.setFilePath(path + relativePath + newFileName); // 文件物理路径
fileInfo.setBizType(bizType);
fileInfo.setBizId(bizId);
fileInfo.setDelFlag(false);
// 存储文件并记录到数据库
try {
FileCopyUtils.copy(mpf.getBytes(), new FileOutputStream(fileInfo.getFilePath()));
fileConfDao.insert(fileInfo);
} catch (IOException e) {
log.error("upload file error!", e);
return null;
}
files.add(fileInfo);
}
return files;
}
private boolean validateFileInfo(List<MultipartFile> mpfList, FileConf fileConf) {
if (mpfList == null || fileConf == null) { return false; }
for (MultipartFile mpf : mpfList) {
// 验证文件大小是否超出配置大小
if (!StringUtils.isEmpty(fileConf.getFileSizeLimit()) && mpf.getSize() / 1024 > Integer.parseInt(fileConf.getFileSizeLimit())) {
return false;
}
// 验证文件类型是否符合文件配置的要求
if (!StringUtils.isEmpty(fileConf.getFileTypeLimit()) && fileConf.getFileTypeLimit().indexOf(mpf.getContentType()) < 0) {
return false;
}
}
return true;
}
}
4.4.controller层
****简单controller****
@RestController
public class FileUploadController {
@Resource
private FileUploadService fileUploadService;
/**
* 文件上传接口
* @param request
* @param bizType 业务类型(必传)
* @param bizId 业务id
* @param extraPath 额外的路径，首部和结尾不能带斜杠'/'
* @return
*/
@RequestMapping(value ="/uploadFile", method = RequestMethod.POST)
public List<FileInfo> uploadFile(MultipartHttpServletRequest request, String bizType, Long bizId, String extraPath) {
int count = 0;
List<FileInfo> result = this.fileUploadService.uploadFile(request.getMultiFileMap().get("fileData"), bizType, bizId, extraPath);
return result;
}
}
4.5.html测试代码
使用postman测试更简单，记得考虑跨越问题
引用博客https://www.cnblogs.com/tianyuchen/p/5594641.html
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>fileUpload Test</title>
<script type="text/javascript">
var xhr;
var ot;//
var oloaded;
//上传文件方法
function upladFile() {
var url = "http://127.0.0.1:8080/uploadFile"; // 接收上传文件的后台地址
var form = new FormData(); // FormData 对象
var fileObj = document.getElementById("file").files; // js 获取文件对象
if (fileObj != null) {
for (var i=0; i< fileObj.length; i++) {
form.append('fileData', fileObj[i], fileObj[i].name);
}
}
xhr = new XMLHttpRequest(); // XMLHttpRequest 对象
xhr.open("post", url, true); //post方式，url为服务器请求地址，true 该参数规定请求是否异步处理。
xhr.onload = uploadComplete; //请求完成(成功)
xhr.onerror = uploadFailed; //请求失败
xhr.upload.onprogress = progressFunction; //【上传进度调用方法实现】
xhr.upload.onloadstart = function(){ //上传开始执行方法(初始)
ot = new Date().getTime(); //设置上传开始时间
oloaded = 0; //设置上传开始时，以上传的文件大小为0
};
xhr.send(form);
}
//上传进度实现方法，上传过程中会频繁调用该方法
function progressFunction(evt) {
var progressBar = document.getElementById("progressBar");
var percentageDiv = document.getElementById("percentage");
// event.total是需要传输的总字节，event.loaded是已经传输的字节。如果event.lengthComputable不为真，则event.total等于0
if (evt.lengthComputable) {
progressBar.max = evt.total;
progressBar.value = evt.loaded;
percentageDiv.innerHTML = Math.round(evt.loaded / evt.total * 100) + "%";
}
var time = document.getElementById("time");
var nt = new Date().getTime();//获取当前时间
var pertime = (nt-ot) / 1000; //计算出上次调用该方法时到现在的时间差，单位为s
ot = new Date().getTime(); //重新赋值时间，用于下次计算
var perload = evt.loaded - oloaded; //计算该分段上传的文件大小，单位b
oloaded = evt.loaded;//重新赋值已上传文件大小，用以下次计算
//上传速度计算
var speed = perload / pertime; //单位b/s
var bspeed = speed;
var units = 'b/s';//单位名称
if(speed/1024 > 1){
speed /= 1024;
units = 'k/s';
}
if(speed/1024 > 1){
speed /= 1024;
units = 'M/s';
}
speed = speed.toFixed(1);
//剩余时间
var resttime = ((evt.total - evt.loaded) / bspeed).toFixed(1);
time.innerHTML = '，速度：' + speed + units + '，剩余时间：' + resttime + 's';
if(bspeed == 0)
time.innerHTML = '上传已取消';
}
//上传成功响应
function uploadComplete(evt) {
alert("上传成功！");
}
//上传失败
function uploadFailed(evt) {
alert("上传失败！");
}
//取消上传
function cancleUploadFile(){
xhr.abort();
}
</script>
</head>
<body>
<progress id="progressBar" value="0" max="100" style="width: 300px;"></progress>
<span id="percentage"></span><span id="time"></span>
<br /><br />
<input type="file" id="file" name="myfile" multiple="multiple"/>
<input type="button" onclick="upladFile()" value="上传(多选)" />
<input type="button" onclick="cancleUploadFile()" value="取消" />
</body>
</html>
跨域问题解决
@Bean
public WebMvcConfigurer corsConfigurer() {
return new WebMvcConfigurerAdapter() {
@Override
public void addCorsMappings(CorsRegistry registry) {
registry.addMapping("/**")
.allowedMethods("PUT", "DELETE","GET","POST")
.allowedHeaders("*")
.exposedHeaders("access-control-allow-headers",
"access-control-allow-methods",
"access-control-allow-origin",
"access-control-max-age",
"X-Frame-Options")
.allowCredentials(false).maxAge(3600);
}
};
}
4.最后
综上一个根据配置规则定义的公用上传文件设计便完成了，这样我们项目所有和上传文件相关的业务都可以使用该接口，只需要简单的在数据库中配置下和业务相关的信息便可。当然可能有些业务还需要更细的定制，如要指定存储服务器，是否需要压缩，一定时间内需要删除文件等等，那你只需在该设计上添加新的配置字段，然后实现对该配置字段的支持就行了。
☀>.freerme、我是lilee[https://blog.csdn.net/freerme]