SpringCloud传文件

      最近要做个需求: 手机app上传视频文件到服务器, 文件可能有几百兆字节。  但目前尚没有使用七牛等类似的文件服务器,要自己实现这个功能。 考虑方案:

1、单文件断点续传, 即只有1个线程使用multipart方式从客户端上传文件, 服务器每接收完一个part则保存到文件。 优点:实现比较简单;  

缺点:1、单线程慢, 由于传输时间长,传输中很可能中断。

           2、由于长时间阻塞服务器线程, 可能出现网络拥塞情况。


2、切片上传, 即将大文件分割成若干片在多线程并发上传。 举例: 待传文件大小为201M字节, 按照每5M逻辑上切割为41段(其实就是从不同的位置开始传,切片大则传输时间长且易失败);假设使用5个线程并发上传, 理论上比上一种方案减少了80%的上传时间。

缺点:实现较复杂, 上传的每段字节流在服务器上都是一个单独的文件(逻辑上的中间文件), 服务器要判断所有切片都上传完成后做文件合并,并删除切片文件; 服务器要做定时任务, 删除长时间无效的中间文件。 如果一个切片上传失败则需要从头再传。

优点:上传速度快,比上一个方案成功率高。


3、切片断点续传, 即将大文件视为由若干段小文件组成, 在上一个方案基础上添加各个切片的断点续传功能。

缺点:实现最复杂, 每次上传前要跟服务器同步一下各个切片的上传状态(即文件预期总大小、当前文件大小等), 以服务器为准。

优点:最快且省流量。


4、为了保证文件传输过程中的数据可靠性(传输层有可能丢包),可以添加CRC校验码。 即客户端计算所传输文件数据的校验码, 服务器接收到文件数据后计算校验码是否匹配。 如果不匹配,说明数据不完整, 需要客户端重传;如果匹配则走正常流程。


按照第2种方案的思路, 使用SpringCloud实现一个上传文件服务。 新建一个AndroidStudio工程,配置pom.xml

	SpringCloudFileSvr
	Demo project for Spring Boot

	
		org.springframework.boot
		spring-boot-starter-parent
		1.5.9.RELEASE
		 
	

	
		UTF-8
		UTF-8
		1.8
		Edgware.RELEASE
	

	
		
			org.springframework.cloud
			spring-cloud-starter-eureka
		
		
			org.springframework.cloud
			spring-cloud-starter-zuul
		

		
			org.springframework.boot
			spring-boot-starter-web
		

		
			org.springframework.boot
			spring-boot-starter-test
			test
		
	

	
		
			
				org.springframework.cloud
				spring-cloud-dependencies
				${spring-cloud.version}
				pom
				import
			
		
	

	
		
			
				org.springframework.boot
				spring-boot-maven-plugin
			
		
	
       其中的注册中心、zuul网关在下面的demo中没用到, 但实际项目中肯定要用。

       为了测试方便写个网页, 注释里已提醒name字段值使用在http包体的multipart中, 代码里要用到这个值。 action值是在Controller类中配置的, 建议层级深一些,方便zuul路由和区分各个业务。




	
	上传文件


	
请选择文件:


      修改application.yml, 添加multipart属性。

server:
  port: 9000
eureka:
  client:
    serviceUrl:
      defaultZone: http://localhost:8761/eureka/
  instance:
    prefer-ip-address: true
spring:
  application:
    name: fileserver
  http:
    multipart:
      max-file-size: 5Mb      # Max file size
      max-request-size: 5Mb   # Max request size
      新建controller类, 将文件存储到服务器的一个目录中。

@RestController
@RequestMapping(value = "/fileserver/pictures")
public class PictureController {
    private final String CATEGORY_TEST = "pics";

    @RequestMapping(value = "test")
    @ResponseBody
    public String testFileServer() {
        return "文件服务器已启动";
    }

    /**
     * 上传文件。
     * @param file, 文件字节流, 其中filename是multipart中的变量名称
     * @return
     */
    @RequestMapping(value = "/upload", method = RequestMethod.POST)
    @ResponseBody
    public PictureResp uploadFile(/**HttpServletRequest request, 拿到请求的所有信息 */
                                  //@RequestHeader(value = "Range") String range,   //大文件分段上传,格式: Range: start-end/total
                                  @RequestHeader(value = "Content-Type") String type,
                                  //@RequestParam(value = "signparam") String data,  //在http包体里添加验签的json
                                  @RequestParam(value = "filename", required = true)MultipartFile file) {
        //System.out.println(request.getHeader("Content-Type"));   //文件分片或断点续传需要Range头,表示字节流对应原始文件的位置
        System.out.println("请求类型:" + type);
        PictureResp resp = new PictureResp();
        try {
            File dir = new File(CATEGORY_TEST);
            if (!dir.exists()) {
                dir.mkdirs();  //判断并创建文件夹
            }

            byte[] bytes = file.getBytes();   //文件字节流
            File fileToSave = new File(dir.getAbsolutePath()  + File.separator +  file.getOriginalFilename());

            FileCopyUtils.copy(bytes, fileToSave);   //保存文件

            //数据表里要存储原始文件名、用户id、时间戳、服务器生成的文件名, 客户端文件起始位置start、客户端文件终止位置end、客户端文件大小total等
            resp.setStatus(0);
            resp.setSize(fileToSave.length());
            resp.setPath(fileToSave.getPath());
        } catch (IOException ex) {
            ex.printStackTrace();

            resp.setStatus(1);  //失败
        }

        return resp;
    }

}

        运行服务并在浏览器中输入: localhost:9000/index.html

SpringCloud传文件_第1张图片          选择电脑里的文件(要小于5M)后,  点击“上传”按钮后网页会显示结果 {"status":0,"size":135017,"index":0,"path":"/Users/***/AndroidStudioProjects/SpringCloudFileSvr/pics/jmeter.log"}


     demo仅实现了单文件上传功能, 后续应创建数据表存储各个切片的信息, 用于合并文件或删除过期中间文件时使用。
      


代码: http://download.csdn.net/download/brycegao321/10158457












你可能感兴趣的:(后台)