最近要做个需求: 手机app上传视频文件到服务器, 文件可能有几百兆字节。 但目前尚没有使用七牛等类似的文件服务器,要自己实现这个功能。 考虑方案:
1、单文件断点续传, 即只有1个线程使用multipart方式从客户端上传文件, 服务器每接收完一个part则保存到文件。 优点:实现比较简单;
缺点:1、单线程慢, 由于传输时间长,传输中很可能中断。
2、由于长时间阻塞服务器线程, 可能出现网络拥塞情况。
2、切片上传, 即将大文件分割成若干片在多线程并发上传。 举例: 待传文件大小为201M字节, 按照每5M逻辑上切割为41段(其实就是从不同的位置开始传,切片大则传输时间长且易失败);假设使用5个线程并发上传, 理论上比上一种方案减少了80%的上传时间。
缺点:实现较复杂, 上传的每段字节流在服务器上都是一个单独的文件(逻辑上的中间文件), 服务器要判断所有切片都上传完成后做文件合并,并删除切片文件; 服务器要做定时任务, 删除长时间无效的中间文件。 如果一个切片上传失败则需要从头再传。
优点:上传速度快,比上一个方案成功率高。
3、切片断点续传, 即将大文件视为由若干段小文件组成, 在上一个方案基础上添加各个切片的断点续传功能。
缺点:实现最复杂, 每次上传前要跟服务器同步一下各个切片的上传状态(即文件预期总大小、当前文件大小等), 以服务器为准。
优点:最快且省流量。
4、为了保证文件传输过程中的数据可靠性(传输层有可能丢包),可以添加CRC校验码。 即客户端计算所传输文件数据的校验码, 服务器接收到文件数据后计算校验码是否匹配。 如果不匹配,说明数据不完整, 需要客户端重传;如果匹配则走正常流程。
按照第2种方案的思路, 使用SpringCloud实现一个上传文件服务。 新建一个AndroidStudio工程,配置pom.xml
SpringCloudFileSvr
Demo project for Spring Boot
org.springframework.boot
spring-boot-starter-parent
1.5.9.RELEASE
UTF-8
UTF-8
1.8
Edgware.RELEASE
org.springframework.cloud
spring-cloud-starter-eureka
org.springframework.cloud
spring-cloud-starter-zuul
org.springframework.boot
spring-boot-starter-web
org.springframework.boot
spring-boot-starter-test
test
org.springframework.cloud
spring-cloud-dependencies
${spring-cloud.version}
pom
import
org.springframework.boot
spring-boot-maven-plugin
其中的注册中心、zuul网关在下面的demo中没用到, 但实际项目中肯定要用。
为了测试方便写个网页, 注释里已提醒name字段值使用在http包体的multipart中, 代码里要用到这个值。 action值是在Controller类中配置的, 建议层级深一些,方便zuul路由和区分各个业务。
上传文件
server:
port: 9000
eureka:
client:
serviceUrl:
defaultZone: http://localhost:8761/eureka/
instance:
prefer-ip-address: true
spring:
application:
name: fileserver
http:
multipart:
max-file-size: 5Mb # Max file size
max-request-size: 5Mb # Max request size
新建controller类, 将文件存储到服务器的一个目录中。
@RestController
@RequestMapping(value = "/fileserver/pictures")
public class PictureController {
private final String CATEGORY_TEST = "pics";
@RequestMapping(value = "test")
@ResponseBody
public String testFileServer() {
return "文件服务器已启动";
}
/**
* 上传文件。
* @param file, 文件字节流, 其中filename是multipart中的变量名称
* @return
*/
@RequestMapping(value = "/upload", method = RequestMethod.POST)
@ResponseBody
public PictureResp uploadFile(/**HttpServletRequest request, 拿到请求的所有信息 */
//@RequestHeader(value = "Range") String range, //大文件分段上传,格式: Range: start-end/total
@RequestHeader(value = "Content-Type") String type,
//@RequestParam(value = "signparam") String data, //在http包体里添加验签的json
@RequestParam(value = "filename", required = true)MultipartFile file) {
//System.out.println(request.getHeader("Content-Type")); //文件分片或断点续传需要Range头,表示字节流对应原始文件的位置
System.out.println("请求类型:" + type);
PictureResp resp = new PictureResp();
try {
File dir = new File(CATEGORY_TEST);
if (!dir.exists()) {
dir.mkdirs(); //判断并创建文件夹
}
byte[] bytes = file.getBytes(); //文件字节流
File fileToSave = new File(dir.getAbsolutePath() + File.separator + file.getOriginalFilename());
FileCopyUtils.copy(bytes, fileToSave); //保存文件
//数据表里要存储原始文件名、用户id、时间戳、服务器生成的文件名, 客户端文件起始位置start、客户端文件终止位置end、客户端文件大小total等
resp.setStatus(0);
resp.setSize(fileToSave.length());
resp.setPath(fileToSave.getPath());
} catch (IOException ex) {
ex.printStackTrace();
resp.setStatus(1); //失败
}
return resp;
}
}
运行服务并在浏览器中输入: localhost:9000/index.html
选择电脑里的文件(要小于5M)后, 点击“上传”按钮后网页会显示结果 {"status":0,"size":135017,"index":0,"path":"/Users/***/AndroidStudioProjects/SpringCloudFileSvr/pics/jmeter.log"} demo仅实现了单文件上传功能, 后续应创建数据表存储各个切片的信息, 用于合并文件或删除过期中间文件时使用。
代码: http://download.csdn.net/download/brycegao321/10158457