spring大文件分块上传原理解析

这两天关于大文件上传这个问题搞得很是头疼,昨天下班回去调研了下,对于不同大小的文件对应有几种解决办法:

  • 500M以下的用http协议传输(网上一搜大把的)
  • 500M以上1G以下的用http协议分块或者ftp协议传输
  • 1G以上的只能用ftp协议传输

第一种很简单,博主在这里就不谈了。
第二种是博主最近几天一直在考虑的。谁知昨天天无意中看到了原同事(大神级别)博客的一篇文章,算是大致明白了http协议分块传输原理。要想分块要解决下面几个问题:

1已上传的文件怎么唯一标识,然后不用再次上传
2.前端怎么分块
3.后端怎么接受分块,组装多个分块

一、取文件的md5值,上传后把md5存数据库;再次上传时获取前端传来的md5到数据库中查询,如果已存在,则不用再次上传

二、关于前端分块,请参考http://fex-team.github.io/webuploader/

三、后端接受分块

1.每当一个分块到来,后端根据其带的md5在服务器创建一个同名的文件夹,并根据块的索引,创建同名的文件(0,1,2...),并用spring mvc上传到服务器。
2.当所有的分块都传完后,前端像后端发送合并的请求,那么问题来了,怎么合并呢?
答案就是:FileChannel
下面上干货

FileChannel outChannel = new FileOutputStream(outputFile).getChannel();

                //合并
                FileChannel inChannel;
                for(File file : files){
                    inChannel = new FileInputStream(file).getChannel();
                    inChannel.transferTo(0, inChannel.size(), outChannel);
                    inChannel.close();

                    //删除分片
                    if(!file.delete()){
                        log.error("分片[" + folder + "=>" + file.getName() + "]删除失败");
                    }
                }
                outChannel.close();

关于ftp上传,也是博主下一步考虑的事情,敬请期待。

第二弹,请看下面
http://blog.csdn.net/haohao123nana/article/details/54692669

项目下载地址: http://download.csdn.net/download/haohao123nana/10015607

你可能感兴趣的:(java,web)