Java大文件上传(秒传、分片上传、断点续传)

一、秒传

秒传就是不传,实现逻辑就是看数据库或者缓存里是否已经有这个文件了,有了,直接从已有的文件去拿就可以了(返回文件地址)。
这里判断是否是相同文件,要用到信息摘要算法,详情可以参考:一文读懂当前常用的加密技术体系。
信息摘要算法常常被用来保证信息的完整性,防止信息在传输过程中被篡改(无法确定信息是否被监听)。常用的就是MD5算法。

二、分片上传

分片上传,就相当于把一个大文件,拆成很多个小份,就想hls文件一样,一片一片的,上传完成后组合起来形成一个完整的文件。
一般和断点续传一起使用。

三、断点续传

分片上传过程中,会话失效、网络问题、系统问题导致的上传中断,恢复后再次上传,不用从头开始了,就是断点续传。

四、RandomAccessFile类

支持随意跳转到文件的任意位置进行读写,RandomAccessFile类的作用就很明显了,可以支持分片上传和断点续传。
其部分源码如下:

public RandomAccessFile(File file, String mode)
        throws FileNotFoundException
    {
        String name = (file != null ? file.getPath() : null);
        int imode = -1;
        if (mode.equals("r"))
            imode = O_RDONLY;
        else if (mode.startsWith("rw")) {
            imode = O_RDWR;
            rw = true;
            if (mode.length() > 2) {
                if (mode.equals("rws"))
                    imode |= O_SYNC;
                else if (mode.equals("rwd"))
                    imode |= O_DSYNC;
                else
                    imode = -1;
            }
        }
        ......
        fd = new FileDescriptor();
        fd.attach(this);
        path = name;
        open(name, imode);
    }

r : 只读模式。
rw: 读写模式
rws: 相对于 rw,rws 同步更新对“文件的内容”或“元数据”的修改到外部存储设备。
rwd : 相对于 rw,rwd 同步更新对“文件的内容”的修改到外部存储设备。

文件内容指的是文件中实际保存的数据,元数据则是用来描述文件属性比如文件的大小信息、创建和修改时间。
代码示例:

 public static void main(String[] args) throws IOException {
        RandomAccessFile randomAccessFile = new RandomAccessFile(new File("input.txt"), "rw");
        System.out.println("读取之前的偏移量:" + randomAccessFile.getFilePointer() +
                ",当前读取到的字符" + (char) randomAccessFile.read() +
                ",读取之后的偏移量:" + randomAccessFile.getFilePointer());
        randomAccessFile.seek(4);
        // 从偏移量 4 的位置开始往后写入字节数据
        randomAccessFile.write(new byte[]{'H', 'I', 'J', 'K','L','M'});
        System.out.println("读取之前的偏移量:" + randomAccessFile.getFilePointer() +
                ",当前读取到的字符" + (char) randomAccessFile.read() +
                ",读取之后的偏移量:" + randomAccessFile.getFilePointer());

    }

write()方法是覆盖写入,对于input.txt文件,初始值是ABCDE,执行后值是ABCDHIJKLM,执行结果如下:

读取之前的偏移量:0,当前读取到的字符A,读取之后的偏移量:1
读取之前的偏移量:10,当前读取到的字符,读取之后的偏移量:10

五、实现分片上传+断点续传

关于这方面的前后端实现,网上有一大推,可以参考:
https://blog.csdn.net/qq_31448387/article/details/127983860
https://blog.csdn.net/shark_chili3007/article/details/118385682
总结一下:
1、前端实现
(1)利用file.slice(start,end)方法将文件分片,获取总分片数、当前分片序号、当前分片文件;
(2)将以上信息传入后端,期间定义文件MD5摘要,确定断传后能够秒传;
(3)当分片序号==总分片数时,将状态(end)传给后端,通知后端合并分片文件。(并发情况下,定义标志位,确认每一个分片上传完成通知合并。)
2、后端实现
RandomAccessFile 实现合并的核心代码如下:

RandomAccessFile raf = new RandomAccessFile(file,"rw");
raf.seek(keyIndex);//seek(int n)从n处处理
byte[] bytes = fileValue.getBytes();//提区文件的字节流
raf.write(bytes);//上面的seek方法已经把指针放在这里从这直接写入

你可能感兴趣的:(java,开发语言)