Java超详细大文件分片上传代码

Java 大文件分片上传

原理：前端通过js读取文件，并将大文件按照指定大小拆分成多个分片，并且计算每个分片的MD5值。前端将每个分片分别上传到后端，后端在接收到文件之后验证当前分片的MD5值是否与上传的MD5一致，待所有分片上传完成之后后端将多个分片合并成一个大文件，并校验该文件的MD5值是否与上传时传入的MD5值一致；

首先是交互的控制器

支持文件分片上传，查询当前已经上传的分片信息，取消文件上传

package com.aimilin.component.system.service.modular.file.controller;
import com.aimilin.common.core.pojo.base.param.BaseParam;
import com.aimilin.common.core.pojo.response.ResponseData;
import com.aimilin.common.log.annotation.BusinessLog;
import com.aimilin.common.log.enums.LogOpTypeEnum;
import com.aimilin.common.security.annotation.Permission;
import com.aimilin.component.system.service.modular.file.param.SysPartFileParam;
import com.aimilin.component.system.service.modular.file.result.SysPartFileResult;
import com.aimilin.component.system.service.modular.file.service.SysPartFileService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.validation.annotation.Validated;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.annotation.Resource;
/**
 * 系统大文件上传
 *
 * @version V1.0
 * @date 2022/5/24 11:22
 */
@Slf4j
@RestController
public class SysPartFileController {
    @Resource
    private SysPartFileService sysPartFileService;
    /**
     * 上传大文件
     *
     */
    @Permission
    @PostMapping("/sysFileInfo/partUpload")
    public ResponseData partUpload(@Validated(BaseParam.add.class) SysPartFileParam partFile) {
        return ResponseData.success(sysPartFileService.partUpload(partFile));
    }
    /**
     * 获取文件上传状态
     *
     */
    @Permission
    @GetMapping("/sysFileInfo/partUpload/status")
    public ResponseData getPartUploadStatus(@Validated(BaseParam.detail.class) SysPartFileParam partFile) {
        return ResponseData.success(sysPartFileService.getPartUploadStatus(partFile));
    }
    /**
     * 获取文件上传状态
     *
     */
    @Permission
    @GetMapping("/sysFileInfo/partUpload/cancel")
    @BusinessLog(title = "文件_上传大文件_取消", opType = LogOpTypeEnum.OTHER)
    public ResponseData cancelUpload(@Validated(BaseParam.detail.class) SysPartFileParam partFile) {
        return ResponseData.success(sysPartFileService.cancelUpload(partFile));
    }
}

上传文件分片参数接收

如果按照分片方式上传文件需要指定当前大文件的MD5、分片MD5、分片内容、分片大小、当前文件名称、文件总大小等信息；另外对于每个文件前端都需要生成一个唯一编码用于确定当前上传的分片属于统一文件。

package com.aimilin.component.system.service.modular.file.param;
import java.io.Serializable;
import java.util.Objects;
import com.baomidou.mybatisplus.core.toolkit.StringUtils;
import com.aimilin.common.core.pojo.base.param.BaseParam;
import lombok.Getter;
import lombok.Setter;
import lombok.ToString;
import org.springframework.web.multipart.MultipartFile;
import javax.validation.constraints.NotNull;
/**
 * 大文件断点续传
 *
 * @version V1.0
 * @date 2022/5/24 10:52
 */
@Getter
@Setter
@ToString
public class SysPartFileParam extends BaseParam implements Serializable {
    /**
     * 文件上传Id, 前端传入的值
     */
    @NotNull(message = "uid不能为空", groups = {BaseParam.detail.class, BaseParam.add.class})
    private String uid;
    /**
     * 上传文件名称
     */
    private String filename;
    /**
     * 当前文件块，从1开始
     */
    @NotNull(message = "partNumber不能为空", groups = {BaseParam.add.class})
    private Integer partNumber;
    /**
     * 当前分块Md5
     */
    @NotNull(message = "partMd5不能为空", groups = {BaseParam.add.class})
    private String partMd5;
    /**
     * 分块大小，根据 totalSize 和这个值你就可以计算出总共的块数。注意最后一块的大小可能会比这个要大。
     */
    @NotNull(message = "partSize不能为空", groups = {BaseParam.add.class})
    private Long partSize;
    /**
     * 总大小
     */
    @NotNull(message = "totalSize不能为空", groups = {BaseParam.add.class})
    private Long totalSize;
    /**
     * 文件标识,MD5指纹
     */
    @NotNull(message = "fileMd5不能为空", groups = {BaseParam.add.class})
    private String fileMd5;
    /**
     * 二进制文件
     */
    @NotNull(message = "file不能为空", groups = {BaseParam.add.class})
    private MultipartFile file;
    /**
     * 总块数, （int）totalSize / partSize 最后一个模块要大一点；
     *
     * @return 结果
     */
    public Integer getTotalParts() {
        if (Objects.isNull(totalSize) || Objects.isNull(partSize)) {
            return 0;
        }
        return new Double(Math.ceil(totalSize * 1.0 / partSize)).intValue();
    }
    public String getFilename() {
        if (StringUtils.isBlank(this.filename) && Objects.isNull(this.file)) {
            return null;
        }
        return StringUtils.isBlank(this.filename) ? this.file.getOriginalFilename() : this.filename;
    }
}

至于代码中的 BaseParam 类，只是定义了一些验证的分组，类似以下代码：

    /**
     * 参数校验分组：分页
     */
    public @interface page {
    }
    /**
     * 参数校验分组：列表
     */
    public @interface list {
    }
    /**
     * 参数校验分组：下拉
     */
    public @interface dropDown {
    }
    /**
     * 参数校验分组：增加
     */
    public @interface add {
    }

大文件分片上传服务类实现

也是定义了三个接口，分片上传、查询当前已上传的分片、取消文件上传

package com.aimilin.component.system.service.modular.file.service;
import com.aimilin.component.system.service.modular.file.param.SysPartFileParam;
import com.aimilin.component.system.service.modular.file.result.SysPartFileResult;
/**
 * 块文件上传
 *
 * @version V1.0
 * @date 2022/5/24 10:59
 */
public interface SysPartFileService {
    /**
     * 文件块上传公共前缀
     */
    public static final String PART_FILE_KEY = "PART_FILE";
    /**
     * 文件块上传
     * 1. 将上传文件按照partSize拆分成多个文件块
     * 2. 判断当前文件块是否已经上传
     * 3. 未上传，则上传当前文本块
     * 4. 已上传则不处理
     * 5. 统计当前文本块上传进度信息
     * 6. 判断所有文本块是否已经上传完成，如果上传完成则触发文件合并
     */
    public SysPartFileResult partUpload(SysPartFileParam partFile);
    /**
     * 获取文件上传状态
     *
     * @param partFile 上传文件信息
     * @return 文件上传状态结果
     */
    public SysPartFileResult getPartUploadStatus(SysPartFileParam partFile);
    /**
     * 取消文件上传
     *
     * @param partFile 上传文件信息
     * @return 文件上传状态结果
     */
    public SysPartFileResult cancelUpload(SysPartFileParam partFile);
}

服务实现类：

package com.aimilin.component.system.service.modular.file.service.impl;
import cn.hutool.core.io.FileUtil;
import com.baomidou.mybatisplus.core.toolkit.IdWorker;
import com.aimilin.common.base.file.FilePartOperator;
import com.aimilin.common.base.file.param.AbortMultipartUploadResult;
import com.aimilin.common.base.file.param.CompleteFileUploadPart;
import com.aimilin.common.base.file.param.FileUploadPart;
import com.aimilin.common.base.file.param.FileUploadPartResult;
import com.aimilin.common.cache.RedisService;
import com.aimilin.common.core.consts.CommonConstant;
import com.aimilin.common.core.context.login.LoginContextHolder;
import com.aimilin.common.core.exception.ServiceException;
import com.aimilin.component.system.service.modular.file.convert.SysPartFileConvert;
import com.aimilin.component.system.service.modular.file.entity.SysFileInfo;
import com.aimilin.component.system.service.modular.file.enums.SysFileInfoExceptionEnum;
import com.aimilin.component.system.service.modular.file.enums.SysPartFileEnum;
import com.aimilin.component.system.service.modular.file.param.SysPartFileParam;
import com.aimilin.component.system.service.modular.file.result.SysPartFileCache;
import com.aimilin.component.system.service.modular.file.result.SysPartFileCache.FileInfo;
import com.aimilin.component.system.service.modular.file.result.SysPartFileCache.SysFilePart;
import com.aimilin.component.system.service.modular.file.result.SysPartFileResult;
import com.aimilin.component.system.service.modular.file.service.SysFileInfoService;
import com.aimilin.component.system.service.modular.file.service.SysPartFileService;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.io.FilenameUtils;
import org.redisson.api.RLock;
import org.redisson.api.RedissonClient;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import javax.annotation.Resource;
import java.io.IOException;
import java.util.*;
import java.util.concurrent.TimeUnit;
import static com.aimilin.component.system.service.config.FileConfig.DEFAULT_BUCKET;
/**
 * 大文件上传功能服务实现
 *
 * @version V1.0
 * @date 2022/5/24 11:53
 */
@Slf4j
@Service
public class SysPartFileServiceImpl implements SysPartFileService {
    @Resource
    private FilePartOperator fileOperator;
    @Resource
    private RedisService redisService;
    @Resource
    private SysFileInfoService sysFileInfoService;
    @Resource
    private RedissonClient redisson;
    /**
     * 文件块上传
     * 1. 将上传文件按照partSize拆分成多个文件块
     * 2. 判断当前文件块是否已经上传
     * 3. 未上传，则上传当前文本块
     * 4. 已上传则不处理
     * 5. 统计当前文本块上传进度信息
     * 6. 判断所有文本块是否已经上传完成，如果上传完成则触发文件合并
     *
     * @param partFile 上传文件
     * @return SysPartFileResult 文件上传结果
     */
    @Override
    public SysPartFileResult partUpload(SysPartFileParam partFile) {
        MultipartFile file = partFile.getFile();
        log.info("分块上传文件:{}, partNumber:{}/{}, partSize:{}/{}",
                partFile.getFilename(), partFile.getPartNumber(), partFile.getTotalParts(), file.getSize(), partFile.getPartSize());
        SysPartFileResult partUploadStatus = this.getPartUploadStatus(partFile);
        // 已经上传该部分则直接返回当前文件状态
        if (SysPartFileEnum.SUCCESS.getCode().equals(partUploadStatus.getPartState())) {
            return partUploadStatus;
        }
        // 上传分片文件
        FileUploadPart fileUploadPart = this.getFileUploadPart(partFile);
        try {
            FileUploadPartResult uploadPartResult = fileOperator.uploadPart(fileUploadPart);
            this.setPartUploadStatus(partFile, uploadPartResult);
        } catch (Exception e) {
            log.error("文件分片上传失败，请求：{}：{}", partFile, e.getMessage(), e);
            throw new ServiceException(SysFileInfoExceptionEnum.FILE_OSS_ERROR);
        }
        return this.getPartUploadStatus(partFile);
    }
    /**
     * 获取文件上传状态
     *
     * @param partFile 上传文件信息
     * @return 文件上传状态结果
     */
    @Override
    public SysPartFileResult getPartUploadStatus(SysPartFileParam partFile) {
        SysPartFileCache fileCache = redisService.getCacheObject(getPartFileKey(partFile.getUid()));
        SysPartFileResult result;
        // 如果没有上传过则返回默认值
        if (Objects.isNull(fileCache)) {
            result = SysPartFileConvert.INSTANCE.toSysPartFileResult(partFile);
            result.setFileState(SysPartFileEnum.NOT_EXISTS.getCode());
            result.setPartState(SysPartFileEnum.NOT_EXISTS.getCode());
        } else {
            result = SysPartFileConvert.INSTANCE.toSysPartFileResult(fileCache, fileCache.getFilePart(partFile.getPartNumber()));
        }
        return result;
    }
    /**
     * 取消文件上传
     *
     * @param partFile 上传文件信息
     * @return 文件上传状态结果
     */
    @Override
    public SysPartFileResult cancelUpload(SysPartFileParam partFile) {
        String cacheKey = getPartFileKey(partFile.getUid());
        SysPartFileCache fileCache = redisService.getCacheObject(cacheKey);
        if (Objects.isNull(fileCache)) {
            throw new ServiceException(SysFileInfoExceptionEnum.NOT_EXISTED_FILE);
        }
        SysPartFileCache.FileInfo fileInfo = fileCache.getFileInfo();
        fileOperator.abortMultipartUpload(fileInfo.getBucketName(), fileInfo.getObjectName(), fileInfo.getUploadId());
        log.info("取消文件上传：{}", partFile.getUid());
        SysPartFileResult sysPartFileResult = SysPartFileConvert.INSTANCE.toSysPartFileResult(partFile);
        sysPartFileResult.setFileState(SysPartFileEnum.CANCELED.getCode());
        redisService.deleteObject(cacheKey);
        return sysPartFileResult;
    }
    /**
     * 文件分片上传，设置文件分片信息
     *
     * @param partFile         分片文件参数
     * @param uploadPartResult 文件上传结果信息
     */
    private void setPartUploadStatus(SysPartFileParam partFile, FileUploadPartResult uploadPartResult) {
        String redisKey = getPartFileKey(partFile.getUid());
        if (!redisService.hasKey(redisKey)) {
            throw new ServiceException(SysFileInfoExceptionEnum.FILE_CACHE_ERROR);
        }
        RLock lock = redisson.getLock(CommonConstant.getLockKey(redisKey));
        try {
            lock.lock();
            SysPartFileCache fileCache = redisService.getCacheObject(redisKey);
            Set filePartList = fileCache.getFilePartList();
            if (Objects.isNull(filePartList)) {
                filePartList = new HashSet<>();
                fileCache.setFilePartList(filePartList);
            }
            SysFilePart sysFilePart = new SysFilePart();
            sysFilePart.setPartNumber(partFile.getPartNumber());
            sysFilePart.setPartState(SysPartFileEnum.SUCCESS.getCode());
            sysFilePart.setPartMd5(partFile.getPartMd5());
            sysFilePart.setPartSize(partFile.getFile().getSize());
            sysFilePart.setFileUploadPartResult(uploadPartResult);
            filePartList.add(sysFilePart);
            fileCache.setFileState(SysPartFileEnum.UPLOADING.getCode());
            // 所有文本块都已经上传完成
            if (new HashSet<>(fileCache.getUploadedParts()).size() == fileCache.getTotalParts()) {
                CompleteFileUploadPart completeFileUploadPart = SysPartFileConvert.INSTANCE.toCompleteFileUploadPart(fileCache);
                fileOperator.completeMultipartUpload(completeFileUploadPart);
                log.info("文件合并完成：{}，part: {}/{}", partFile.getFilename(), partFile.getPartNumber(), partFile.getTotalParts());
                this.saveFileInfo(partFile, fileCache);
                fileCache.setFileState(SysPartFileEnum.SUCCESS.getCode());
                redisService.setCacheObject(redisKey, fileCache, 1L, TimeUnit.DAYS);
            } else {
                redisService.setCacheObject(redisKey, fileCache);
            }
        } catch (Exception e) {
            log.error("设置文件分片上传状态异常，{},上传结果：{}", partFile, uploadPartResult, e);
            throw new ServiceException(SysFileInfoExceptionEnum.PART_FILE_SET_STATE_ERROR);
        }finally {
            lock.unlock();
        }
    }
    /**
     * 保存文件信息到 数据库
     *
     * @param partFile  分片文件
     * @param fileCache 文件缓存对象
     */
    private void saveFileInfo(SysPartFileParam partFile, SysPartFileCache fileCache) {
        SysFileInfo sysFileInfo = new SysFileInfo();
        sysFileInfo.setId(Objects.isNull(fileCache.getFileId()) ? IdWorker.getId() : fileCache.getFileId());
        sysFileInfo.setFileLocation(fileOperator.getFileLocation().getCode());
        sysFileInfo.setFileBucket(fileCache.getFileInfo().getBucketName());
        sysFileInfo.setFileOriginName(fileCache.getFilename());
        sysFileInfo.setFileSuffix(FilenameUtils.getExtension(fileCache.getFileInfo().getObjectName()));
        sysFileInfo.setFileSizeKb(SysFileUtils.getFileSizeKb(fileCache.getTotalSize()));
        sysFileInfo.setFileSizeInfo(FileUtil.readableFileSize(fileCache.getTotalSize()));
        sysFileInfo.setFileObjectName(fileCache.getFileInfo().getObjectName());
        boolean save = sysFileInfoService.save(sysFileInfo);
        log.info("保存文件信息完成：{}，结果：{}", partFile.getFilename(), save);
    }
    /**
     * 获取文件上传分片信息
     *
     * @param partFile 分片文件参数
     * @return 需要上传的分片文件信息
     */
    private FileUploadPart getFileUploadPart(SysPartFileParam partFile) {
        try {
            SysPartFileCache fileCache = redisService.getCacheObject(getPartFileKey(partFile.getUid()));
            if (Objects.isNull(fileCache)) {
                fileCache = this.initSysPartFileCache(partFile);
            }
            return SysPartFileConvert.INSTANCE.toFileUploadPart(fileCache.getFileInfo(), partFile);
        } catch (IOException e) {
            log.error("获取文件分片对象异常：{}", e.getMessage(), e);
            throw new ServiceException(SysFileInfoExceptionEnum.FILE_STREAM_ERROR);
        }
    }
    /**
     * 初始化文件缓存对象，进入该方法说明缓存为空
     * @param partFile 分片文件
     */
    private SysPartFileCache initSysPartFileCache(SysPartFileParam partFile) {
        String key  =  getPartFileKey(partFile.getUid());
        RLock lock = redisson.getLock(CommonConstant.getLockKey(key));
        try {
            lock.lock();
            SysPartFileCache fileCache = redisService.getCacheObject(key);
            if(Objects.isNull(fileCache)){
                Long fileId = IdWorker.getId();
                String objectName = SysFileUtils.getFileObjectName(partFile.getFilename(), fileId);
                String uploadId = fileOperator.initiateMultipartUpload(DEFAULT_BUCKET, objectName);
                fileCache = SysPartFileConvert.INSTANCE.toSysPartFileCache(partFile);
                fileCache.setFileState(SysPartFileEnum.UPLOADING.getCode());
                fileCache.setFileInfo(new FileInfo(DEFAULT_BUCKET, objectName, uploadId));
                fileCache.setFileId(fileId);
                redisService.setCacheObject(getPartFileKey(partFile.getUid()), fileCache);
            }
            return fileCache;
        } catch (Exception e) {
            log.error("文件缓存初始化异常：{}", partFile, e);
            throw new ServiceException(SysFileInfoExceptionEnum.PART_FILE_INIT_CACHE_ERROR);
        }finally {
            lock.unlock();
        }
    }
    /**
     * 获取文件缓存key
     *
     * @param fileId 文件Id
     * @return %s:%s:%s
     */
    private String getPartFileKey(String fileId) {
        return String.format("%s:%s:%s", PART_FILE_KEY, LoginContextHolder.me().getSysLoginUserId(), fileId);
    }
}

文件分片上传定义公共服务类接口

package com.aimilin.common.base.file;
import com.aimilin.common.base.file.param.*;
/**
 * 大文件分片操作服务类
 *
 * @version V1.0
 * @date 2022/5/24 16:56
 */
public interface FilePartOperator extends FileOperator {
    /**
     * 初始化分片文件上传
     *
     * @param bucketName 文件桶
     * @param key        文件key
     * @return 本次文件上传唯一标识
     */
    String initiateMultipartUpload(String bucketName, String key);
    /**
     * 上传分片文件
     *
     * @param fileUploadPart 分片文件参数
     * @return 上传结果
     */
    FileUploadPartResult uploadPart(FileUploadPart fileUploadPart);
    /**
     * 完成分片上传
     *
     * @param completeFileUploadPart 请求对象
     * @return 结果信息
     */
    CompleteFileUploadPartResult completeMultipartUpload(CompleteFileUploadPart completeFileUploadPart);
    /**
     * 取消文件分片上传
     *
     * @param bucketName 文件桶
     * @param objectName 对象key
     * @param uploadId   上传ID
     * @return
     */
    void abortMultipartUpload(String bucketName, String objectName, String uploadId);
}
/**
 * 文件分片上传取消
 *
 * @version V1.0
 * @date 2022/5/24 20:32
 */
public class AbortMultipartUploadResult {
}
/**
 * 完成分片上传
 *
 * @version V1.0
 * @date 2022/5/24 20:07
 */
@Getter
@Setter
@ToString
public class CompleteFileUploadPart implements Serializable {
    private String bucketName;
    private String objectName;
    private String uploadId;
    private List partETags;
}
/**
 * 分片上传结果
 *
 * @version V1.0
 * @date 2022/5/24 20:08
 */
@Getter
@Setter
@ToString
public class CompleteFileUploadPartResult implements Serializable {
    private String bucketName;
    private String objectName;
    private String location;
    private String eTag;
}
/**
 * 文件分片上传请求参数
 *
 * @version V1.0
 * @date 2022/5/24 17:00
 */
@Getter
@Setter
@ToString
public class FileUploadPart implements Serializable {
    /**
     * 文件桶
     */
    private String bucketName;
    /**
     * 文件key
     */
    private String objectName;
    /**
     * 文件上传ID
     */
    private String uploadId;
    /**
     * 分片大小，设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB
     */
    private Long partSize;
    /**
     * 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，OSS将返回InvalidArgument错误码。
     */
    private Integer partNumber;
    /**
     * 分片Md5签名
     */
    private String partMd5;
    /**
     * 分片文件内容
     */
    @JsonIgnore
    @JSONField(deserialize = false, serialize = false)
    private InputStream partContent;
}
/**
 * 文件分片上传结果
 *
 * @version V1.0
 * @date 2022/5/24 17:01
 */
@Getter
@Setter
@ToString
public class FileUploadPartResult implements Serializable {
    /**
     * 分块编号
     */
    private Integer partNumber;
    /**
     * 当前分片大小
     */
    private Long partSize;
    /**
     * 上传结果tag
     */
    private String partETag;
}

文件分片上传文件操作接口实现类

这里风两种实现，1：本地文件上传，2：oss对象存储方式分片上传

/**
 * 本地文件上传操作
 *
 */
@Slf4j
public class LocalFileOperator implements FilePartOperator {
    @Override
    public FileLocationEnum getFileLocation() {
        return FileLocationEnum.LOCAL;
    }
    private final LocalFileProperties localFileProperties;
    private String currentSavePath = "";
    private Dict localClient;
    public LocalFileOperator(LocalFileProperties localFileProperties) {
        this.localFileProperties = localFileProperties;
        initClient();
    }
    @Override
    public void initClient() {
        if (SystemUtil.getOsInfo().isWindows()) {
            String savePathWindows = localFileProperties.getLocalFileSavePathWin();
            if (!FileUtil.exist(savePathWindows)) {
                FileUtil.mkdir(savePathWindows);
            }
            currentSavePath = savePathWindows;
        } else {
            String savePathLinux = localFileProperties.getLocalFileSavePathLinux();
            if (!FileUtil.exist(savePathLinux)) {
                FileUtil.mkdir(savePathLinux);
            }
            currentSavePath = savePathLinux;
        }
        localClient = Dict.create();
        localClient.put("currentSavePath", currentSavePath);
        localClient.put("localFileProperties", localFileProperties);
    }
    @Override
    public void destroyClient() {
        // empty
    }
    @Override
    public Object getClient() {
        // empty
        return localClient;
    }
    @Override
    public boolean doesBucketExist(String bucketName) {
        String absolutePath = currentSavePath + File.separator + bucketName;
        return FileUtil.exist(absolutePath);
    }
    @Override
    public void setBucketAcl(String bucketName, BucketAuthEnum bucketAuthEnum) {
        // empty
    }
    @Override
    public boolean isExistingFile(String bucketName, String key) {
        return FileUtil.exist(this.getAbsolutePath(bucketName, key));
    }
    @Override
    public void storageFile(String bucketName, String key, byte[] bytes) {
        // 判断bucket存在不存在
        String bucketPath = currentSavePath + File.separator + bucketName;
        if (!FileUtil.exist(bucketPath)) {
            FileUtil.mkdir(bucketPath);
        }
        // 存储文件
        FileUtil.writeBytes(bytes, this.getAbsolutePath(bucketName, key));
    }
    @Override
    public void storageFile(String bucketName, String key, InputStream inputStream, long fileSize) {
        // 判断bucket存在不存在
        String bucketPath = currentSavePath + File.separator + bucketName;
        if (!FileUtil.exist(bucketPath)) {
            FileUtil.mkdir(bucketPath);
        }
        // 存储文件
        FileUtil.writeFromStream(inputStream, this.getAbsolutePath(bucketName, key));
    }
    @Override
    public byte[] getFileBytes(String bucketName, String key) {
        // 判断文件存在不存在
        String absoluteFile = this.getAbsolutePath(bucketName, key);
        if (!FileUtil.exist(absoluteFile)) {
            String message = StrUtil.format("文件不存在,bucket={},key={}", bucketName, key);
            throw new FileServiceException(message);
        } else {
            return FileUtil.readBytes(absoluteFile);
        }
    }
    @Override
    public void setFileAcl(String bucketName, String key, BucketAuthEnum bucketAuthEnum) {
        // empty
    }
    @Override
    public void copyFile(String originBucketName, String originFileKey, String newBucketName, String newFileKey) {
        // 判断文件存在不存在
        String originFile = this.getAbsolutePath(originBucketName, originFileKey);
        if (!FileUtil.exist(originFile)) {
            String message = StrUtil.format("源文件不存在,bucket={},key={}", originBucketName, originFileKey);
            throw new FileServiceException(message);
        } else {
            // 拷贝文件
            String destFile = this.getAbsolutePath(newBucketName, newFileKey);
            FileUtil.copy(originFile, destFile, true);
        }
    }
    @Override
    public String getFileAuthUrl(String bucketName, String key, Long timeoutMillis) {
        // empty
        return null;
    }
    @Override
    public void deleteFile(String bucketName, String key) {
        // 判断文件存在不存在
        String file = this.getAbsolutePath(bucketName, key);
        if (!FileUtil.exist(file)) {
            return;
        }
        // 删除文件
        FileUtil.del(file);
    }
    /**
     * 初始化分片文件上传
     *
     * @param bucketName 文件桶
     * @param key        文件key
     * @return 本次文件上传唯一标识
     */
    @Override
    public String initiateMultipartUpload(String bucketName, String key) {
        return FileNameUtil.getName(key);
    }
    /**
     * 上传分片文件
     *
     * @param fileUploadPart 分片文件参数
     * @return 上传结果
     */
    @Override
    public FileUploadPartResult uploadPart(FileUploadPart fileUploadPart) {
        String partName = fileUploadPart.getObjectName() + "." + fileUploadPart.getPartNumber();
        this.storageFile(fileUploadPart.getBucketName(), partName, fileUploadPart.getPartContent(), fileUploadPart.getPartSize());
        FileUploadPartResult result = new FileUploadPartResult();
        result.setPartNumber(fileUploadPart.getPartNumber());
        result.setPartSize(fileUploadPart.getPartSize());
        result.setPartETag(partName);
        // TODO 正常文件上传完成之后需要验证文件的分片的MD5值是否与前端传入的值一样
        return result;
    }
    /**
     * 完成分片上传
     *
     * @param completeFileUploadPart 请求对象
     * @return 结果信息
     */
    @Override
    public CompleteFileUploadPartResult completeMultipartUpload(CompleteFileUploadPart completeFileUploadPart) {
        try {
            List partETags = completeFileUploadPart.getPartETags();
            String path = this.getAbsolutePath(completeFileUploadPart.getBucketName(), completeFileUploadPart.getObjectName());
            partETags.sort((o1, o2) -> {
                String p1 = FileNameUtil.extName(o1.getPartETag());
                String p2 = FileNameUtil.extName(o2.getPartETag());
                return Integer.valueOf(p1).compareTo(Integer.valueOf(p2));
            });
            Files.createFile(Paths.get(path));
            partETags.forEach(c -> {
                try {
                    Path partPath = Paths.get(this.getAbsolutePath(completeFileUploadPart.getBucketName(), c.getPartETag()));
                    Files.write(Paths.get(path), Files.readAllBytes(partPath), StandardOpenOption.APPEND);
                    Files.delete(partPath);
                } catch (IOException e) {
                    log.error("合并文件失败：{}", e.getMessage(), e);
                    throw new FileServiceException(e.getMessage());
                }
            });
            // 文件合并完成之后需要校验文件的MD5值是否与前端传入的一致
            return new CompleteFileUploadPartResult();
        } catch (IOException e) {
            log.error("合并文件失败：{}", e.getMessage(), e);
            throw new FileServiceException(e.getMessage());
        }
    }
    /**
     * 取消文件分片上传
     *
     * @param bucketName 文件桶
     * @param objectName 对象key
     * @param uploadId   上传ID
     * @return
     */
    @Override
    public void abortMultipartUpload(String bucketName, String objectName, String uploadId) {
        try {
            Path folder = Paths.get(this.getAbsolutePath(bucketName, objectName)).getParent();
            String partName = objectName + ".";
            Files.list(folder)
                    .filter(path -> StrUtil.contains(path.toString(), partName))
                    .forEach(path -> {
                        try {
                            Files.delete(path);
                        } catch (IOException e) {
                            log.warn("删除分片文件失败：{}", path);
                        }
                    });
        } catch (IOException e) {
            log.error("取消文件分片上传异常：{}", e.getMessage(), e);
            throw new FileServiceException(e.getMessage());
        }
    }
    /**
     * 获取文件绝对路径
     *
     * @param bucketName 文件桶
     * @param key        对象key
     * @return
     */
    private String getAbsolutePath(String bucketName, String key) {
        return currentSavePath + File.separator + bucketName + File.separator + key;
    }
}

OSS阿里云对象存储分片上传实现

/**
 * 阿里云文件操作
 *
 */
@Slf4j
public class AliyunFileOperator implements FilePartOperator {
    @Override
    public FileLocationEnum getFileLocation() {
        return FileLocationEnum.ALIYUN;
    }
    /**
     * 阿里云文件操作客户端
     */
    private OSS ossClient;
    /**
     * 阿里云oss的配置
     */
    private final AliyunOssProperties aliyunOssProperties;
    public AliyunFileOperator(AliyunOssProperties aliyunOssProperties) {
        this.aliyunOssProperties = aliyunOssProperties;
        this.initClient();
    }
    @Override
    public void initClient() {
        String endpoint = aliyunOssProperties.getEndPoint();
        String accessKeyId = aliyunOssProperties.getAccessKeyId();
        String accessKeySecret = aliyunOssProperties.getAccessKeySecret();
        // 创建OSSClient实例。
        ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
    }
    @Override
    public void destroyClient() {
        ossClient.shutdown();
    }
    @Override
    public Object getClient() {
        return ossClient;
    }
    @Override
    public boolean doesBucketExist(String bucketName) {
        try {
            return ossClient.doesBucketExist(bucketName);
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        }
    }
    @Override
    public void setBucketAcl(String bucketName, BucketAuthEnum bucketAuthEnum) {
        try {
            if (bucketAuthEnum.equals(BucketAuthEnum.PRIVATE)) {
                ossClient.setBucketAcl(bucketName, CannedAccessControlList.Private);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ)) {
                ossClient.setBucketAcl(bucketName, CannedAccessControlList.PublicRead);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ_WRITE)) {
                ossClient.setBucketAcl(bucketName, CannedAccessControlList.PublicReadWrite);
            }
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        }
    }
    @Override
    public boolean isExistingFile(String bucketName, String key) {
        try {
            return ossClient.doesObjectExist(bucketName, key);
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        }
    }
    @Override
    public void storageFile(String bucketName, String key, byte[] bytes) {
        try {
            ossClient.putObject(bucketName, key, new ByteArrayInputStream(bytes));
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        }
    }
    @Override
    public void storageFile(String bucketName, String key, InputStream inputStream, long fileSize) {
        try {
            String contentType = "application/octet-stream";
            if (key.contains(".")) {
                contentType = MimetypesFileTypeMap.getDefaultFileTypeMap().getContentType(key);
            }
            ObjectMetadata metadata = new ObjectMetadata();
            metadata.setContentType(contentType);
            metadata.setContentLength(fileSize);
            PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, key, inputStream, metadata);
            ossClient.putObject(putObjectRequest);
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        }
    }
    @Override
    public byte[] getFileBytes(String bucketName, String key) {
        InputStream objectContent = null;
        try {
            OSSObject ossObject = ossClient.getObject(bucketName, key);
            objectContent = ossObject.getObjectContent();
            return IoUtil.readBytes(objectContent);
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        } finally {
            IoUtil.close(objectContent);
        }
    }
    @Override
    public void setFileAcl(String bucketName, String key, BucketAuthEnum bucketAuthEnum) {
        try {
            if (bucketAuthEnum.equals(BucketAuthEnum.PRIVATE)) {
                ossClient.setObjectAcl(bucketName, key, CannedAccessControlList.Private);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ)) {
                ossClient.setObjectAcl(bucketName, key, CannedAccessControlList.PublicRead);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ_WRITE)) {
                ossClient.setObjectAcl(bucketName, key, CannedAccessControlList.PublicReadWrite);
            }
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        }
    }
    @Override
    public void copyFile(String originBucketName, String originFileKey, String newBucketName, String newFileKey) {
        try {
            ossClient.copyObject(originBucketName, originFileKey, newBucketName, newFileKey);
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        }
    }
    @Override
    public String getFileAuthUrl(String bucketName, String key, Long timeoutMillis) {
        try {
            Date expiration = new Date(new Date().getTime() + timeoutMillis);
            URL url = ossClient.generatePresignedUrl(bucketName, key, expiration);
            return url.toString();
        } catch (OSSException e) {
            throw new AliyunFileServiceException(e);
        } catch (ClientException e) {
            throw new AliyunFileServiceException(e);
        }
    }
    @Override
    public void deleteFile(String bucketName, String key) {
        ossClient.deleteObject(bucketName, key);
    }
    /**
     * 初始化分片文件上传
     *
     * @param bucketName 文件桶
     * @param key        文件key
     * @return 本次文件上传唯一标识
     */
    @Override
    public String initiateMultipartUpload(String bucketName, String key) {
        InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, key);
        InitiateMultipartUploadResult result = ossClient.initiateMultipartUpload(request);
        log.info("阿里云 初始化分片文件上传：{}", key);
        return result.getUploadId();
    }
    /**
     * 上传分片文件
     *
     * @param fileUploadPart 分片文件参数
     * @return 上传结果
     */
    @Override
    public FileUploadPartResult uploadPart(FileUploadPart fileUploadPart) {
        UploadPartRequest request = AliyunConvert.INSTANCE.convert(fileUploadPart);
        UploadPartResult result = ossClient.uploadPart(request);
        FileUploadPartResult convert = AliyunConvert.INSTANCE.convert(result);
        convert.setPartSize(fileUploadPart.getPartSize());
        log.info("阿里云 分片文件上传：{}，结果：{}", fileUploadPart, request);
        return convert;
    }
    /**
     * 完成分片上传
     *
     * @param completeFileUploadPart 请求对象
     * @return 结果信息
     */
    @Override
    public CompleteFileUploadPartResult completeMultipartUpload(CompleteFileUploadPart completeFileUploadPart) {
        List tags = new ArrayList<>();
        for (FileUploadPartResult partETag : completeFileUploadPart.getPartETags()) {
            tags.add(new PartETag(partETag.getPartNumber(), partETag.getPartETag()));
        }
        CompleteMultipartUploadRequest request = new CompleteMultipartUploadRequest(
                completeFileUploadPart.getBucketName(),
                completeFileUploadPart.getObjectName(),
                completeFileUploadPart.getUploadId(),
                tags
        );
        CompleteMultipartUploadResult result = ossClient.completeMultipartUpload(request);
        log.info("京东云合并文件：{},结果：{}", completeFileUploadPart, result);
        return AliyunConvert.INSTANCE.convert(result);
    }
    /**
     * 取消文件分片上传
     *
     * @param bucketName 文件桶
     * @param objectName 对象key
     * @param uploadId   上传ID
     * @return
     */
    @Override
    public void abortMultipartUpload(String bucketName, String objectName, String uploadId) {
        AbortMultipartUploadRequest request = new AbortMultipartUploadRequest(bucketName, objectName, uploadId);
        ossClient.abortMultipartUpload(request);
    }
}

京东云对象存储实现

package com.aimilin.common.base.file.modular.jdcloud;
import cn.hutool.core.io.IoUtil;
import com.amazonaws.SdkClientException;
import com.amazonaws.services.s3.model.*;
import com.aimilin.common.base.file.FileOperator;
import com.aimilin.common.base.file.FilePartOperator;
import com.aimilin.common.base.file.common.enums.BucketAuthEnum;
import com.aimilin.common.base.file.common.enums.FileLocationEnum;
import com.aimilin.common.base.file.modular.jdcloud.exp.JdCloudFileServiceException;
import com.aimilin.common.base.file.modular.jdcloud.prop.JdCloudConvert;
import com.aimilin.common.base.file.modular.jdcloud.prop.JdCloudOssProperties;
import com.amazonaws.auth.AWSCredentialsProvider;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.client.builder.AwsClientBuilder;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.ClientConfiguration;
import com.aimilin.common.base.file.param.*;
import lombok.extern.slf4j.Slf4j;
import javax.activation.MimetypesFileTypeMap;
import java.io.ByteArrayInputStream;
import java.io.InputStream;
import java.net.URL;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
/**
 * 京东云对象存储
 *
 * @version V1.0
 */
@Slf4j
public class JdCloudFileOperator implements FilePartOperator {
    @Override
    public FileLocationEnum getFileLocation() {
        return FileLocationEnum.JDCLOUD;
    }
    /**
     * 京东云客户端
     */
    private AmazonS3 ossClient;
    /**
     * 京东云oss的配置
     */
    private final JdCloudOssProperties jdCloudOssProperties;
    /**
     *
     * @param jdCloudOssProperties
     */
    public JdCloudFileOperator(JdCloudOssProperties jdCloudOssProperties) {
        this.jdCloudOssProperties = jdCloudOssProperties;
        this.initClient();
    }
    @Override
    public void initClient() {
        ClientConfiguration config = new ClientConfiguration();
        AwsClientBuilder.EndpointConfiguration endpointConfig =
                new AwsClientBuilder.EndpointConfiguration(jdCloudOssProperties.getEndPoint(), jdCloudOssProperties.getSigningRegion());
        AWSCredentials awsCredentials = new BasicAWSCredentials(jdCloudOssProperties.getAccessKeyID(),jdCloudOssProperties.getAccessKeySecret());
        AWSCredentialsProvider awsCredentialsProvider = new AWSStaticCredentialsProvider(awsCredentials);
        ossClient = AmazonS3Client.builder()
                .withEndpointConfiguration(endpointConfig)
                .withClientConfiguration(config)
                .withCredentials(awsCredentialsProvider)
                .disableChunkedEncoding()
                .build();
    }
    @Override
    public void destroyClient() {
        ossClient.shutdown();
    }
    @Override
    public Object getClient() {
        return ossClient;
    }
    @Override
    public boolean doesBucketExist(String bucketName) {
        return ossClient.doesBucketExistV2(bucketName);
    }
    @Override
    public void setBucketAcl(String bucketName, BucketAuthEnum bucketAuthEnum) {
        try {
            if (bucketAuthEnum.equals(BucketAuthEnum.PRIVATE)) {
                ossClient.setBucketAcl(bucketName, CannedAccessControlList.Private);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ)) {
                ossClient.setBucketAcl(bucketName, CannedAccessControlList.PublicRead);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ_WRITE)) {
                ossClient.setBucketAcl(bucketName, CannedAccessControlList.PublicReadWrite);
            }
        } catch (Exception e) {
            log.error("JdCloud-oss-设置预定义策略异常",e);
            throw new JdCloudFileServiceException(e);
        }
    }
    @Override
    public boolean isExistingFile(String bucketName, String key) {
        try {
            return ossClient.doesObjectExist(bucketName, key);
        } catch (Exception e) {
            log.error("JdCloud-oss-判断是否存在文件异常",e);
            throw new JdCloudFileServiceException(e);
        }
    }
    @Override
    public void storageFile(String bucketName, String key, byte[] bytes) {
        try {
            InputStream is = new ByteArrayInputStream(bytes);
            ObjectMetadata metadata = new ObjectMetadata();
            metadata.setContentType("text/plain");
            metadata.setContentLength((long)bytes.length);
            ossClient.putObject(bucketName, key, is, metadata);
        } catch (Exception e) {
            log.error("JdCloud-oss-存储文件异常",e);
            throw new JdCloudFileServiceException(e);
        }
    }
    @Override
    public void storageFile(String bucketName, String key, InputStream inputStream, long fileSize) {
        try {
            String contentType = "application/octet-stream";
            if (key.contains(".")) {
                contentType = MimetypesFileTypeMap.getDefaultFileTypeMap().getContentType(key);
            }
            ObjectMetadata metadata = new ObjectMetadata();
            metadata.setContentType(contentType);
            metadata.setContentLength(fileSize);
            ossClient.putObject(bucketName, key, inputStream, metadata);
        } catch (Exception e) {
            log.error("JdCloud-oss-存储文件异常",e);
            throw new JdCloudFileServiceException(e);
        }
    }
    @Override
    public byte[] getFileBytes(String bucketName, String key) {
        InputStream objectContent = null;
        try {
            S3Object s3Object = ossClient.getObject(bucketName, key);
            objectContent = s3Object.getObjectContent();
            return IoUtil.readBytes(objectContent);
        } catch (Exception e) {
            log.error("JdCloud-oss-获取某个bucket下的文件字节异常",e);
            throw new JdCloudFileServiceException(e);
        }finally {
            IoUtil.close(objectContent);
        }
    }
    @Override
    public void setFileAcl(String bucketName, String key, BucketAuthEnum bucketAuthEnum) {
        try {
            if (bucketAuthEnum.equals(BucketAuthEnum.PRIVATE)) {
                ossClient.setObjectAcl(bucketName, key, CannedAccessControlList.Private);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ)) {
                ossClient.setObjectAcl(bucketName, key, CannedAccessControlList.PublicRead);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ_WRITE)) {
                ossClient.setObjectAcl(bucketName, key, CannedAccessControlList.PublicReadWrite);
            }
        } catch (Exception e) {
            log.error("JdCloud-oss-文件访问权限管理异常",e);
            throw new JdCloudFileServiceException(e);
        }
    }
    @Override
    public void copyFile(String originBucketName, String originFileKey, String newBucketName, String newFileKey) {
        try {
            ossClient.copyObject(originBucketName, originFileKey, newBucketName, newFileKey);
        } catch (Exception e) {
            log.error("JdCloud-oss-拷贝文件异常",e);
            throw new JdCloudFileServiceException(e);
        }
    }
    @Override
    public String getFileAuthUrl(String bucketName, String key, Long timeoutMillis) {
        try {
            Date expiration = new Date(System.currentTimeMillis() + timeoutMillis);
            URL url = ossClient.generatePresignedUrl(bucketName, key, expiration);
            return url.toString();
        } catch (Exception e) {
            log.error("JdCloud-oss-获取文件的下载地址异常",e);
            throw new JdCloudFileServiceException(e);
        }
    }
    @Override
    public void deleteFile(String bucketName, String key) {
        try {
            ossClient.deleteObject(bucketName, key);
        } catch (Exception e) {
            log.error("JdCloud-oss-删除文件异常", e);
            throw new JdCloudFileServiceException(e);
        }
    }
    /**
     * 初始化分片文件上传
     *
     * @param bucketName 文件桶
     * @param key        文件key
     * @return 本次文件上传唯一标识
     */
    @Override
    public String initiateMultipartUpload(String bucketName, String key) {
        InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, key);
        InitiateMultipartUploadResult initiateMultipartUploadResult = ossClient.initiateMultipartUpload(request);
        log.info("京东云 初始化分片文件上传：{}", key);
        return initiateMultipartUploadResult.getUploadId();
    }
    /**
     * 上传分片文件
     *
     * @param fileUploadPart 分片文件参数
     * @return 上传结果
     */
    @Override
    public FileUploadPartResult uploadPart(FileUploadPart fileUploadPart) {
        UploadPartRequest request = JdCloudConvert.INSTANCE.convert(fileUploadPart);
        UploadPartResult uploadPartResult = ossClient.uploadPart(request);
        FileUploadPartResult result = JdCloudConvert.INSTANCE.convert(uploadPartResult.getPartETag());
        result.setPartSize(fileUploadPart.getPartSize());
        log.info("京东云 分片文件上传：{}，结果：{}", fileUploadPart, request);
        return result;
    }
    /**
     * 完成分片上传
     *
     * @param completeFileUploadPart 请求对象
     * @return 结果信息
     */
    @Override
    public CompleteFileUploadPartResult completeMultipartUpload(CompleteFileUploadPart completeFileUploadPart) {
        CompleteMultipartUploadRequest request = JdCloudConvert.INSTANCE.convert(completeFileUploadPart);
        CompleteMultipartUploadResult result = ossClient.completeMultipartUpload(request);
        log.info("京东云合并文件：{},结果：{}", completeFileUploadPart, result);
        return JdCloudConvert.INSTANCE.convert(result);
    }
    /**
     * 取消文件分片上传
     *
     * @param bucketName 文件桶
     * @param objectName 对象key
     * @param uploadId   上传ID
     * @return
     */
    @Override
    public void abortMultipartUpload(String bucketName, String objectName, String uploadId) {
        ossClient.abortMultipartUpload(new AbortMultipartUploadRequest(bucketName, objectName, uploadId));
    }
}

腾讯云对象存储分片上传

package com.aimilin.common.base.file.modular.tencent;
import cn.hutool.core.io.IoUtil;
import com.aimilin.common.base.file.FilePartOperator;
import com.aimilin.common.base.file.common.enums.FileLocationEnum;
import com.aimilin.common.base.file.modular.aliyun.prop.AliyunConvert;
import com.aimilin.common.base.file.modular.tencent.prop.TenConvert;
import com.aimilin.common.base.file.param.CompleteFileUploadPart;
import com.aimilin.common.base.file.param.CompleteFileUploadPartResult;
import com.aimilin.common.base.file.param.FileUploadPart;
import com.aimilin.common.base.file.param.FileUploadPartResult;
import com.qcloud.cos.COSClient;
import com.qcloud.cos.ClientConfig;
import com.qcloud.cos.auth.BasicCOSCredentials;
import com.qcloud.cos.auth.COSCredentials;
import com.qcloud.cos.exception.CosClientException;
import com.qcloud.cos.exception.CosServiceException;
import com.qcloud.cos.http.HttpMethodName;
import com.qcloud.cos.model.*;
import com.qcloud.cos.region.Region;
import com.qcloud.cos.transfer.TransferManager;
import com.qcloud.cos.transfer.TransferManagerConfiguration;
import com.aimilin.common.base.file.FileOperator;
import com.aimilin.common.base.file.common.enums.BucketAuthEnum;
import com.aimilin.common.base.file.modular.tencent.exp.TencentFileServiceException;
import com.aimilin.common.base.file.modular.tencent.prop.TenCosProperties;
import lombok.extern.slf4j.Slf4j;
import javax.activation.MimetypesFileTypeMap;
import java.io.ByteArrayInputStream;
import java.io.InputStream;
import java.net.URL;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
/**
 * 腾讯云内网文件操作
 *
 */
@Slf4j
public class TenFileOperator implements FilePartOperator {
    @Override
    public FileLocationEnum getFileLocation() {
        return FileLocationEnum.TENCENT;
    }
    private final TenCosProperties tenCosProperties;
    private COSClient cosClient;
    private TransferManager transferManager;
    public TenFileOperator(TenCosProperties tenCosProperties) {
        this.tenCosProperties = tenCosProperties;
        initClient();
    }
    @Override
    public void initClient() {
        // 1.初始化用户身份信息
        String secretId = tenCosProperties.getSecretId();
        String secretKey = tenCosProperties.getSecretKey();
        COSCredentials cred = new BasicCOSCredentials(secretId, secretKey);
        // 2.设置 bucket 的区域, COS 地域的简称请参照 https://cloud.tencent.com/document/product/436/6224
        Region region = new Region(tenCosProperties.getRegionId());
        ClientConfig clientConfig = new ClientConfig(region);
        // 3.生成 cos 客户端。
        cosClient = new COSClient(cred, clientConfig);
        // 4.线程池大小，建议在客户端与 COS 网络充足（例如使用腾讯云的 CVM，同地域上传 COS）的情况下，设置成16或32即可，可较充分的利用网络资源
        // 对于使用公网传输且网络带宽质量不高的情况，建议减小该值，避免因网速过慢，造成请求超时。
        ExecutorService threadPool = Executors.newFixedThreadPool(32);
        // 5.传入一个 threadpool, 若不传入线程池，默认 TransferManager 中会生成一个单线程的线程池。
        transferManager = new TransferManager(cosClient, threadPool);
        // 6.设置高级接口的分块上传阈值和分块大小为10MB
        TransferManagerConfiguration transferManagerConfiguration = new TransferManagerConfiguration();
        transferManagerConfiguration.setMultipartUploadThreshold(10 * 1024 * 1024);
        transferManagerConfiguration.setMinimumUploadPartSize(10 * 1024 * 1024);
        transferManager.setConfiguration(transferManagerConfiguration);
    }
    @Override
    public void destroyClient() {
        cosClient.shutdown();
    }
    @Override
    public Object getClient() {
        return cosClient;
    }
    @Override
    public boolean doesBucketExist(String bucketName) {
        try {
            return cosClient.doesBucketExist(bucketName);
        } catch (CosServiceException e) {
            throw new TencentFileServiceException(e);
        } catch (CosClientException e) {
            throw new TencentFileServiceException(e);
        }
    }
    @Override
    public void setBucketAcl(String bucketName, BucketAuthEnum bucketAuthEnum) {
        try {
            if (bucketAuthEnum.equals(BucketAuthEnum.PRIVATE)) {
                cosClient.setBucketAcl(bucketName, CannedAccessControlList.Private);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ)) {
                cosClient.setBucketAcl(bucketName, CannedAccessControlList.PublicRead);
            } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ_WRITE)) {
                cosClient.setBucketAcl(bucketName, CannedAccessControlList.PublicReadWrite);
            }
        } catch (CosServiceException e) {
            throw new TencentFileServiceException(e);
        } catch (CosClientException e) {
            throw new TencentFileServiceException(e);
        }
    }
    @Override
    public boolean isExistingFile(String bucketName, String key) {
        try {
            cosClient.getObjectMetadata(bucketName, key);
            return true;
        } catch (CosServiceException e) {
            return false;
        }
    }
    @Override
    public void storageFile(String bucketName, String key, byte[] bytes) {
        // 根据文件名获取contentType
        String contentType = "application/octet-stream";
        if (key.contains(".")) {
            contentType = MimetypesFileTypeMap.getDefaultFileTypeMap().getContentType(key);
        }
        // 上传文件
        ByteArrayInputStream byteArrayInputStream = null;
        try {
            byteArrayInputStream = new ByteArrayInputStream(bytes);
            ObjectMetadata objectMetadata = new ObjectMetadata();
            objectMetadata.setContentType(contentType);
            cosClient.putObject(bucketName, key, new ByteArrayInputStream(bytes), objectMetadata);
        } catch (CosServiceException e) {
            throw new TencentFileServiceException(e);
        } catch (CosClientException e) {
            throw new TencentFileServiceException(e);
        } finally {
            IoUtil.close(byteArrayInputStream);
        }
    }
    @Override
    public void storageFile(String bucketName, String key, InputStream inputStream, long fileSize) {
        // 根据文件名获取contentType
        String contentType = "application/octet-stream";
        if (key.contains(".")) {
            contentType = MimetypesFileTypeMap.getDefaultFileTypeMap().getContentType(key);
        }
        // 上传文件
        try {
            ObjectMetadata objectMetadata = new ObjectMetadata();
            objectMetadata.setContentType(contentType);
            objectMetadata.setContentLength(fileSize);
            cosClient.putObject(bucketName, key, inputStream, objectMetadata);
        } catch (CosServiceException e) {
            throw new TencentFileServiceException(e);
        } catch (CosClientException e) {
            throw new TencentFileServiceException(e);
        } finally {
            IoUtil.close(inputStream);
        }
    }
    @Override
    public byte[] getFileBytes(String bucketName, String key) {
        COSObjectInputStream cosObjectInput = null;
        try {
            GetObjectRequest getObjectRequest = new GetObjectRequest(bucketName, key);
            COSObject cosObject = cosClient.getObject(getObjectRequest);
            cosObjectInput = cosObject.getObjectContent();
            return IoUtil.readBytes(cosObjectInput);
        } catch (CosServiceException e) {
            throw new TencentFileServiceException(e);
        } catch (CosClientException e) {
            throw new TencentFileServiceException(e);
        } finally {
            IoUtil.close(cosObjectInput);
        }
    }
    @Override
    public void setFileAcl(String bucketName, String key, BucketAuthEnum bucketAuthEnum) {
        if (bucketAuthEnum.equals(BucketAuthEnum.PRIVATE)) {
            cosClient.setObjectAcl(bucketName, key, CannedAccessControlList.Private);
        } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ)) {
            cosClient.setObjectAcl(bucketName, key, CannedAccessControlList.PublicRead);
        } else if (bucketAuthEnum.equals(BucketAuthEnum.PUBLIC_READ_WRITE)) {
            cosClient.setObjectAcl(bucketName, key, CannedAccessControlList.PublicReadWrite);
        }
    }
    @Override
    public void copyFile(String originBucketName, String originFileKey, String newBucketName, String newFileKey) {
        // 初始化拷贝参数
        Region srcBucketRegion = new Region(tenCosProperties.getRegionId());
        CopyObjectRequest copyObjectRequest = new CopyObjectRequest(
                srcBucketRegion, originBucketName, originFileKey, newBucketName, newFileKey);
        // 拷贝对象
        try {
            transferManager.copy(copyObjectRequest, cosClient, null);
        } catch (CosServiceException e) {
            throw new TencentFileServiceException(e);
        } catch (CosClientException e) {
            throw new TencentFileServiceException(e);
        }
    }
    @Override
    public String getFileAuthUrl(String bucketName, String key, Long timeoutMillis) {
        GeneratePresignedUrlRequest presignedUrlRequest = new GeneratePresignedUrlRequest(bucketName, key, HttpMethodName.GET);
        Date expirationDate = new Date(System.currentTimeMillis() + timeoutMillis);
        presignedUrlRequest.setExpiration(expirationDate);
        URL url = null;
        try {
            url = cosClient.generatePresignedUrl(presignedUrlRequest);
        } catch (CosServiceException e) {
            throw new TencentFileServiceException(e);
        } catch (CosClientException e) {
            throw new TencentFileServiceException(e);
        }
        return url.toString();
    }
    @Override
    public void deleteFile(String bucketName, String key) {
        cosClient.deleteObject(bucketName, key);
    }
    /**
     * 初始化分片文件上传
     *
     * @param bucketName 文件桶
     * @param key        文件key
     * @return 本次文件上传唯一标识
     */
    @Override
    public String initiateMultipartUpload(String bucketName, String key) {
        InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, key);
        InitiateMultipartUploadResult result = cosClient.initiateMultipartUpload(request);
        log.info("腾讯云 初始化分片文件上传：{}", key);
        return result.getUploadId();
    }
    /**
     * 上传分片文件
     *
     * @param fileUploadPart 分片文件参数
     * @return 上传结果
     */
    @Override
    public FileUploadPartResult uploadPart(FileUploadPart fileUploadPart) {
        UploadPartRequest request = TenConvert.INSTANCE.convert(fileUploadPart);
        UploadPartResult result = cosClient.uploadPart(request);
        FileUploadPartResult convert = TenConvert.INSTANCE.convert(result);
        convert.setPartSize(fileUploadPart.getPartSize());
        log.info("腾讯云 分片文件上传：{}，结果：{}", fileUploadPart, request);
        return convert;
    }
    /**
     * 完成分片上传
     *
     * @param completeFileUploadPart 请求对象
     * @return 结果信息
     */
    @Override
    public CompleteFileUploadPartResult completeMultipartUpload(CompleteFileUploadPart completeFileUploadPart) {
        List tags = new ArrayList<>();
        for (FileUploadPartResult partETag : completeFileUploadPart.getPartETags()) {
            tags.add(new PartETag(partETag.getPartNumber(), partETag.getPartETag()));
        }
        CompleteMultipartUploadRequest request = new CompleteMultipartUploadRequest(
                completeFileUploadPart.getBucketName(),
                completeFileUploadPart.getObjectName(),
                completeFileUploadPart.getUploadId(),
                tags);
        CompleteMultipartUploadResult result = cosClient.completeMultipartUpload(request);
        log.info("京东云合并文件：{},结果：{}", completeFileUploadPart, result);
        return TenConvert.INSTANCE.convert(result);
    }
    /**
     * 取消文件分片上传
     *
     * @param bucketName 文件桶
     * @param objectName 对象key
     * @param uploadId   上传ID
     * @return
     */
    @Override
    public void abortMultipartUpload(String bucketName, String objectName, String uploadId) {
        AbortMultipartUploadRequest request = new AbortMultipartUploadRequest(bucketName, objectName, uploadId);
        cosClient.abortMultipartUpload(request);
    }
}

分片上传前端代码实现

参考资料：

项目参考地址：https://gitee.com/donghuangtaiyi/file-uploader

到此这篇关于Java超详细大文件分片上传代码的文章就介绍到这了,更多相关Java大文件上传内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

你可能感兴趣的:(Java超详细大文件分片上传代码)

  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • LocalDateTime 转 String igotyback java开发语言
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
  • 如何在 Fork 的 GitHub 项目中保留自己的修改并同步上游更新？github_fork_update iBaoxing github
    如何在Fork的GitHub项目中保留自己的修改并同步上游更新？在GitHub上Fork了一个项目后，你可能会对项目进行一些修改，同时原作者也在不断更新。如果想要在保留自己修改的基础上，同步原作者的最新更新，很多人会不知所措。本文将详细讲解如何在不丢失自己改动的情况下，将上游仓库的更新合并到自己的仓库中。问题描述假设你在GitHub上Fork了一个项目，并基于该项目做了一些修改，随后你发现原作者对
  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • html 中如何使用 uniapp 的部分方法 某公司摸鱼前端 htmluni-app前端
    示例代码：Documentconsole.log(window);效果展示：好了，现在就可以uni.使用相关的方法了
  • 回溯 Leetcode 332 重新安排行程 mmaerd Leetcode刷题学习记录leetcode算法职场和发展
    重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 网易严选官方旗舰店，优质商品，卓越服务 高省_飞智666600
    网易严选官方旗舰店是网易旗下的一家电商平台，以提供优质商品和卓越服务而闻名。作为一名SEO优化师，我将为您详细介绍网易严选官方旗舰店，并重点强调其特点和优势。大家好！我是高省APP最大团队&联合创始人飞智导师。相较于其他返利app，高省APP的佣金更高，模式更好，最重要的是，终端用户不会流失！高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 基于社交网络算法优化的二维最大熵图像分割 智能算法研学社（Jack旭） 智能优化算法应用图像分割算法php开发语言
    智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • 直返最高等级与直返APP：无需邀请码的返利新体验 古楼
    随着互联网的普及和电商的兴起，直返模式逐渐成为一种流行的商业模式。在这种模式下，消费者通过购买产品或服务，获得一定的返利，并可以分享给更多的人。其中，直返最高等级和直返APP是直返模式中的重要概念和工具。本文将详细介绍直返最高等级的概念、直返APP的使用以及与邀请码的关系。【高省】APP（高佣金领导者）是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几百万篇报道，运行三年，稳定可靠。高省APP，
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team 若博豆 java算法华为javascript
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
  • 【加密社】Solidity 中的事件机制及其应用 加密社 闲侃区块链智能合约区块链
    加密社引言在Solidity合约开发过程中，事件（Events）是一种非常重要的机制。它们不仅能够让开发者记录智能合约的重要状态变更，还能够让外部系统（如前端应用）监听这些状态的变化。本文将详细介绍Solidity中的事件机制以及如何利用不同的手段来触发、监听和获取这些事件。事件存储的地方当我们在Solidity合约中使用emit关键字触发事件时，该事件会被记录在区块链的交易收据中。具体而言，事件
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • 使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python人工智能开发语言
    本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
  • 利用Requests Toolkit轻松完成HTTP请求 nseejrukjhad http网络协议网络python
    RequestsToolkit的力量：轻松构建HTTP请求Agent在现代软件开发中，API请求是与外部服务交互的核心。RequestsToolkit提供了一种便捷的方式，帮助开发者构建自动化的HTTP请求Agent。本文旨在详细介绍RequestsToolkit的设置、使用和潜在挑战。引言RequestsToolkit是一个强大的工具包，可用于构建执行HTTP请求的智能代理。这对于想要自动化与外
  • 利用LangChain的StackExchange组件实现智能问答系统 nseejrukjhad langchainmicrosoft数据库python
    利用LangChain的StackExchange组件实现智能问答系统引言在当今的软件开发世界中，StackOverflow已经成为程序员解决问题的首选平台之一。而LangChain作为一个强大的AI应用开发框架，提供了StackExchange组件，使我们能够轻松地将StackOverflow的海量知识库集成到我们的应用中。本文将详细介绍如何使用LangChain的StackExchange组件
  • 数组去重 好奇的猫猫猫
    整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
  • GitHub上克隆项目 bigbig猩猩 github
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript 二挡起步 web前端期末大作业javascripthtmlcss旅游风景
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动 二挡起步 web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • git - Webhook让部署自动化 大猪大猪
    我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
  • Spring中@Value注解，需要注意的地方 无量 springbean@Valuexml
    Spring 3以后,支持@Value注解的方式获取properties文件中的配置值，简化了读取配置文件的复杂操作 1、在applicationContext.xml文件(或引用文件中)中配置properties文件 <bean id="appProperty" class="org.springframework.beans.fac
  • mongoDB 分片 开窍的石头 mongodb
        mongoDB的分片。要mongos查询数据时候 先查询configsvr看数据在那台shard上，configsvr上边放的是metar信息，指的是那条数据在那个片上。由此可以看出mongo在做分片的时候咱们至少要有一个configsvr,和两个以上的shard（片）信息。     第一步启动两台以上的mongo服务 &nb
  • OVER(PARTITION BY)函数用法 0624chenhong oracle
    这篇写得很好，引自 http://www.cnblogs.com/lanzi/archive/2010/10/26/1861338.html OVER(PARTITION BY)函数用法 2010年10月26日 OVER(PARTITION BY)函数介绍 开窗函数        &nb
  • Android开发中，ADB server didn't ACK 解决方法 一炮送你回车库 Android开发
    首先通知：凡是安装360、豌豆荚、腾讯管家的全部卸载，然后再尝试。   一直没搞明白这个问题咋出现的，但今天看到一个方法，搞定了！原来是豌豆荚占用了 5037 端口导致。 参见原文章：一个豌豆荚引发的血案——关于ADB server didn't ACK的问题 简单来讲，首先将Windows任务进程中的豌豆荚干掉，如果还是不行，再继续按下列步骤排查。 &nb
  • canvas中的像素绘制问题 换个号韩国红果果 JavaScriptcanvas
    pixl的绘制，1.如果绘制点正处于相邻像素交叉线，绘制x像素的线宽，则从交叉线分别向前向后绘制x/2个像素，如果x/2是整数，则刚好填满x个像素，如果是小数，则先把整数格填满，再去绘制剩下的小数部分，绘制时，是将小数部分的颜色用来除以一个像素的宽度，颜色会变淡。所以要用整数坐标来画的话（即绘制点正处于相邻像素交叉线时），线宽必须是2的整数倍。否则会出现不饱满的像素。 2.如果绘制点为一个像素的
  • 编码乱码问题 灵静志远 javajvmjsp编码
    1、JVM中单个字符占用的字节长度跟编码方式有关，而默认编码方式又跟平台是一一对应的或说平台决定了默认字符编码方式；2、对于单个字符：ISO-8859-1单字节编码，GBK双字节编码，UTF-8三字节编码；因此中文平台(中文平台默认字符集编码GBK)下一个中文字符占2个字节，而英文平台(英文平台默认字符集编码Cp1252(类似于ISO-8859-1))。 3、getBytes()、getByte
  • java 求几个月后的日期 darkranger calendargetinstance
    Date plandate = planDate.toDate(); SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd"); Calendar cal = Calendar.getInstance(); cal.setTime(plandate); // 取得三个月后时间 cal.add(Calendar.M
  • 数据库设计的三大范式（通俗易懂） aijuans 数据库复习
    关系数据库中的关系必须满足一定的要求。满足不同程度要求的为不同范式。数据库的设计范式是数据库设计所需要满足的规范。只有理解数据库的设计范式，才能设计出高效率、优雅的数据库，否则可能会设计出错误的数据库. 目前，主要有六种范式：第一范式、第二范式、第三范式、BC范式、第四范式和第五范式。满足最低要求的叫第一范式，简称1NF。在第一范式基础上进一步满足一些要求的为第二范式，简称2NF。其余依此类推。
  • 想学工作流怎么入手 atongyeye jbpm
    工作流在工作中变得越来越重要，很多朋友想学工作流却不知如何入手。 很多朋友习惯性的这看一点，那了解一点，既不系统，也容易半途而废。好比学武功，最好的办法是有一本武功秘籍。研究明白，则犹如打通任督二脉。 系统学习工作流，很重要的一本书《JBPM工作流开发指南》。 本人苦苦学习两个月，基本上可以解决大部分流程问题。整理一下学习思路，有兴趣的朋友可以参考下。 1  首先要
  • Context和SQLiteOpenHelper创建数据库 百合不是茶 androidContext创建数据库
           一直以为安卓数据库的创建就是使用SQLiteOpenHelper创建,但是最近在android的一本书上看到了Context也可以创建数据库,下面我们一起分析这两种方式创建数据库的方式和区别,重点在SQLiteOpenHelper     一:SQLiteOpenHelper创建数据库:   1,SQLi
  • 浅谈group by和distinct bijian1013 oracle数据库group bydistinct
            group by和distinct只了去重意义一样，但是group by应用范围更广泛些，如分组汇总或者从聚合函数里筛选数据等。         譬如：统计每id数并且只显示数大于3 select id ,count(id) from ta
  • vi opertion 征客丶 macoprationvi
    进入 command mode （命令行模式） 按 esc 键 再按 shift + 冒号 注：以下命令中 带 $ 【在命令行模式下进行】，不带 $ 【在非命令行模式下进行】 一、文件操作 1.1、强制退出不保存 $ q! 1.2、保存 $ w 1.3、保存并退出 $ wq 1.4、刷新或重新加载已打开的文件 $ e 二、光标移动 2.1、跳到指定行 数字
  • 【Spark十四】深入Spark RDD第三部分RDD基本API bit1129 spark
      对于K/V类型的RDD,如下操作是什么含义？   val rdd = sc.parallelize(List(("A",3),("C",6),("A",1),("B",5)) rdd.reduceByKey(_+_).collect  reduceByKey在这里的操作，是把
  • java类加载机制 BlueSkator java虚拟机
    java类加载机制 1.java类加载器的树状结构 引导类加载器 ^ | 扩展类加载器 ^ | 系统类加载器 java使用代理模式来完成类加载，java的类加载器也有类似于继承的关系，引导类是最顶层的加载器，它是所有类的根加载器，它负责加载java核心库。当一个类加载器接到装载类到虚拟机的请求时，通常会代理给父类加载器，若已经是根加载器了，就自己完成加载。 虚拟机区分一个Cla
  • 动态添加文本框 BreakingBad 文本框
      <script>     var num=1; function AddInput() {      var str="";     str+="<input 
  • 读《研磨设计模式》-代码笔记-单例模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ public class Singleton { } /* * 懒汉模式。注意，getInstance如果在多线程环境中调用，需要加上synchronized，否则存在线程不安全问题 */ class LazySingleton
  • iOS应用打包发布常见问题 chenhbc iosiOS发布iOS上传iOS打包
    这个月公司安排我一个人做iOS客户端开发，由于急着用，我先发布一个版本，由于第一次发布iOS应用，期间出了不少问题，记录于此。   1、使用Application Loader 发布时报错：Communication error.please use diagnostic mode to check connectivity.you need to have outbound acc
  • 工作流复杂拓扑结构处理新思路 comsci 设计模式工作算法企业应用OO
    我们走的设计路线和国外的产品不太一样，不一样在哪里呢？  国外的流程的设计思路是通过事先定义一整套规则(类似XPDL)来约束和控制流程图的复杂度(我对国外的产品了解不够多，仅仅是在有限的了解程度上面提出这样的看法)，从而避免在流程引擎中处理这些复杂的图的问题，而我们却没有通过事先定义这样的复杂的规则来约束和降低用户自定义流程图的灵活性，这样一来，在引擎和流程流转控制这一个层面就会遇到很
  • oracle 11g新特性Flashback data archive daizj oracle
    1. 什么是flashback data archive Flashback data archive是oracle 11g中引入的一个新特性。Flashback archive是一个新的数据库对象，用于存储一个或多表的历史数据。Flashback archive是一个逻辑对象，概念上类似于表空间。实际上flashback archive可以看作是存储一个或多个表的所有事务变化的逻辑空间。
  • 多叉树:2-3-4树 dieslrae 树
        平衡树多叉树,每个节点最多有4个子节点和3个数据项,2,3,4的含义是指一个节点可能含有的子节点的个数,效率比红黑树稍差.一般不允许出现重复关键字值.2-3-4树有以下特征:     1、有一个数据项的节点总是有2个子节点(称为2-节点)     2、有两个数据项的节点总是有3个子节点(称为3-节
  • C语言学习七动态分配 malloc的使用 dcj3sjt126com clanguagemalloc
    /* 2013年3月15日15:16:24 malloc 就memory(内存) allocate(分配)的缩写 本程序没有实际含义，只是理解使用 */ # include <stdio.h> # include <malloc.h> int main(void) { int i = 5; //分配了4个字节 静态分配 int * p
  • Objective-C编码规范[译] dcj3sjt126com 代码规范
      原文链接 : The official raywenderlich.com Objective-C style guide 原文作者 : raywenderlich.com Team 译文出自 : raywenderlich.com Objective-C编码规范 译者 : Sam Lau
  • 0.性能优化-目录 frank1234 性能优化
    从今天开始笔者陆续发表一些性能测试相关的文章，主要是对自己前段时间学习的总结，由于水平有限，性能测试领域很深，本人理解的也比较浅，欢迎各位大咖批评指正。 主要内容包括： 一、性能测试指标 吞吐量、TPS、响应时间、负载、可扩展性、PV、思考时间 http://frank1234.iteye.com/blog/2180305 二、性能测试策略 生产环境相同 基准测试 预热等 htt
  • Java父类取得子类传递的泛型参数Class类型 happyqing java泛型父类子类Class
      import java.lang.reflect.ParameterizedType; import java.lang.reflect.Type; import org.junit.Test; abstract class BaseDao<T> { public void getType() { //Class<E> clazz =
  • 跟我学SpringMVC目录汇总贴、PDF下载、源码下载 jinnianshilongnian springMVC
      ----广告-------------------------------------------------------------- 网站核心商详页开发 掌握Java技术，掌握并发/异步工具使用，熟悉spring、ibatis框架； 掌握数据库技术，表设计和索引优化，分库分表/读写分离； 了解缓存技术，熟练使用如Redis/Memcached等主流技术； 了解Ngin
  • the HTTP rewrite module requires the PCRE library 流浪鱼 rewrite
    ./configure: error: the HTTP rewrite module requires the PCRE library. 模块依赖性Nginx需要依赖下面3个包 1. gzip 模块需要 zlib 库 ( 下载: http://www.zlib.net/ ) 2. rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ ) 3. s
  • 第12章 Ajax（中） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Optimize query with Query Stripping in Web Intelligence blueoxygen BO
    http://wiki.sdn.sap.com/wiki/display/BOBJ/Optimize+query+with+Query+Stripping+in+Web+Intelligence and a very straightfoward video http://www.sdn.sap.com/irj/scn/events?rid=/library/uuid/40ec3a0c-936
  • Java开发者写SQL时常犯的10个错误 tomcat_oracle javasql
    1、不用PreparedStatements 　　有意思的是，在JDBC出现了许多年后的今天，这个错误依然出现在博客、论坛和邮件列表中，即便要记住和理解它是一件很简单的事。开发者不使用PreparedStatements的原因可能有如下几个： 　　他们对PreparedStatements不了解 　　他们认为使用PreparedStatements太慢了 　　他们认为写Prepar
  • 世纪互联与结盟有感 阿尔萨斯
    10月10日，世纪互联与（Foxcon）签约成立合资公司，有感。 全球电子制造业巨头（全球500强企业）与世纪互联共同看好IDC、云计算等业务在中国的增长空间，双方迅速果断出手，在资本层面上达成合作，此举体现了全球电子制造业巨头对世纪互联IDC业务的欣赏与信任，另一方面反映出世纪互联目前良好的运营状况与广阔的发展前景。 众所周知，精于电子产品制造（世界第一），对于世纪互联而言，能够与结盟
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他