【文件上传】阿里OSS文件存储：Java使用阿里云OSS上传文件，普通上传与分片上传，轻轻松松上传小文件、大文件
阿里云OSS Java SDK
首先想使用阿里云OSS服务先要去官网申请：阿里云API的密钥AccessKeyID、阿里云API的密钥AccessKeySecret 有了这两个才能进行开发。
阿里云官方有针对不同语言设计的SDK包，本文使用java SDK。博主代码有作修改。
详细SDK介绍参看官网链接： https://help.aliyun.com/document_detail/oss/sdk/java-sdk/preface.html?spm=5176.383663.13.1.J6I4Ga
<dependency>
<groupId>com.aliyun.ossgroupId>
<artifactId>aliyun-sdk-ossartifactId>
<version>3.9.1version>
dependency>
创建ossClient
/**
* 获取阿里云OSS客户端对象
*
* @return ossClient
*/
public static OSS getOSSClient() {
ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
// 连接空闲超时时间，超时则关闭
conf.setIdleConnectionTime(1000);
// 在这里可以做一些配置，比如超时时间、最大连接数之类的
···
return new OSSClientBuilder().build(ENDPOINT, ACCESS_KEY_ID, ACCESS_KEY_SECRET, conf);
}
创建一个bucket，也就是桶，相当于访问域名前缀部分
/**
* 创建桶
*
* @param ossClient OSS连接
* @param bucketName 桶名称
* @return
*/
public static String createBucketName(OSS ossClient, String bucketName) {
if (!ossClient.doesBucketExist(bucketName)) {
//创建存储空间
Bucket bucket = ossClient.createBucket(bucketName);
log.info("创建存储空间成功");
return bucket.getName();
}
return bucketName;
}
普通上传完整代码（AliyunOSSClientUtil）
/**
* 阿里oss工具类
*
* @author xiegege
* @date 2020-07-23
*/
@Slf4j
@Component
public class AliyunOSSClientUtil {
private static String ENDPOINT;
private static String ACCESS_KEY_ID;
private static String ACCESS_KEY_SECRET;
@Value("${aliyunOSS.endpoint}")
private void setEndpoint(String endpoint) {
ENDPOINT = endpoint;
}
@Value("${aliyunOSS.accessKeyId}")
private void setAccessKeyId(String accessKeyId) {
ACCESS_KEY_ID = accessKeyId;
}
@Value("${aliyunOSS.accessKeySecret}")
private void setAccessKeySecret(String accessKeySecret) {
ACCESS_KEY_SECRET = accessKeySecret;
}
/**
* 获取阿里云OSS客户端对象
*
* @return ossClient
*/
public static OSS getOSSClient() {
ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
// 连接空闲超时时间，超时则关闭
conf.setIdleConnectionTime(1000);
return new OSSClientBuilder().build(ENDPOINT, ACCESS_KEY_ID, ACCESS_KEY_SECRET, conf);
}
/**
* 创建桶
*
* @param ossClient OSS连接
* @param bucketName 桶名称
* @return
*/
public static String createBucketName(OSS ossClient, String bucketName) {
if (!ossClient.doesBucketExist(bucketName)) {
//创建存储空间
Bucket bucket = ossClient.createBucket(bucketName);
log.info("创建存储空间成功");
return bucket.getName();
}
return bucketName;
}
/**
* 删除桶
*
* @param ossClient oss对象
* @param bucketName 桶名称
*/
public static void deleteBucket(OSS ossClient, String bucketName) {
ossClient.deleteBucket(bucketName);
log.info("删除" + bucketName + "桶成功");
}
/**
* 上传图片至OSS 文件流
*
* @param ossClient oss连接
* @param file 上传文件（文件全路径如：D:\\image\\cake.jpg）
* @param bucketName 桶名称
* @param folder 阿里云API的文件夹名称（父文件夹）
* @param format 阿里云API的文件夹名称（子文件夹）
* @param formats 文件名
* @return String 返回的唯一MD5数字签名
*/
public static String[] uploadObject2OSS(OSS ossClient, File file, String bucketName, String folder, String format, String formats) {
String[] resultArr = new String[2];
try {
// 以输入流的形式上传文件（普通上传）
folder = folder + format;
InputStream is = new FileInputStream(file);
// 文件名
String fileName = file.getName();
// 文件扩展名
String fileExtension = fileName.substring(fileName.lastIndexOf("."));
// 最终文件名：UUID + 文件扩展名
fileName = formats + fileExtension;
// 上传路径 如：appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
String path = folder + fileName;
log.info("上传到路径" + path);
// 文件大小
long fileSize = file.length();
// 创建上传Object的Metadata
ObjectMetadata metadata = new ObjectMetadata();
// 上传的文件的长度
metadata.setContentLength(is.available());
// 指定该Object被下载时的网页的缓存行为
metadata.setCacheControl("no-cache");
// 指定该Object下设置Header
metadata.setHeader("Pragma", "no-cache");
// 指定该Object被下载时的内容编码格式
metadata.setContentEncoding("utf-8");
// 文件的MIME，定义文件的类型及网页编码，决定浏览器将以什么形式、什么编码读取文件。如果用户没有指定则根据Key或文件名的扩展名生成，
// 如果没有扩展名则填默认值application/octet-stream
metadata.setContentType(getContentType(fileExtension));
// 指定该Object被下载时的名称（指示MINME用户代理如何显示附加的文件，打开或下载，及文件名称）
metadata.setContentDisposition("filename/filesize=" + fileName + "/" + fileSize + "Byte.");
// 上传文件 (上传文件流的形式)
PutObjectResult putResult = ossClient.putObject(bucketName, path, is, metadata);
// 解析结果
resultArr[0] = putResult.getETag();
resultArr[1] = path;
is.close();
ossClient.shutdown();
} catch (Exception e) {
e.printStackTrace();
log.error("上传阿里云OSS服务器异常." + e.getMessage(), e);
} finally {
// 关闭OSSClient
ossClient.shutdown();
}
return null;
}
/**
* 获得url链接
*
* @param bucketName 桶名称
* @param key Bucket下的文件的路径名+文件名 如："appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk"
* @return 图片链接：http://xxxxx.oss-cn-beijing.aliyuncs.com/test/headImage/1546404670068899.jpg?Expires=1861774699&OSSAccessKeyId=****=p%2BuzEEp%2F3JzcHzm%2FtAYA9U5JM4I%3D
* （Expires=1861774699&OSSAccessKeyId=LTAISWCu15mkrjRw&Signature=p%2BuzEEp%2F3JzcHzm%2FtAYA9U5JM4I%3D 分别为：有前期、keyID、签名）
*/
public static String getUrl(String bucketName, String key) {
// 设置URL过期时间为10年 3600L*1000*24*365*10
Date expiration = new Date(System.currentTimeMillis() + 3600L * 1000 * 24 * 365 * 10);
OSS ossClient = getOSSClient();
// 生成URL
URL url = ossClient.generatePresignedUrl(bucketName, key, expiration);
return url.toString().substring(0, url.toString().lastIndexOf("?"));
}
/**
* 通过文件名判断并获取OSS服务文件上传时文件的contentType
*
* @param fileExtension 文件名扩展名
* @return 文件的contentType
*/
public static String getContentType(String fileExtension) {
// 文件的后缀名
if (".bmp".equalsIgnoreCase(fileExtension)) {
return "image/bmp";
}
if (".gif".equalsIgnoreCase(fileExtension)) {
return "image/gif";
}
if (".jpeg".equalsIgnoreCase(fileExtension) || ".jpg".equalsIgnoreCase(fileExtension)
|| ".png".equalsIgnoreCase(fileExtension)) {
return "image/jpeg";
}
if (".html".equalsIgnoreCase(fileExtension)) {
return "text/html";
}
if (".txt".equalsIgnoreCase(fileExtension)) {
return "text/plain";
}
if (".vsd".equalsIgnoreCase(fileExtension)) {
return "application/vnd.visio";
}
if (".ppt".equalsIgnoreCase(fileExtension) || "pptx".equalsIgnoreCase(fileExtension)) {
return "application/vnd.ms-powerpoint";
}
if (".doc".equalsIgnoreCase(fileExtension) || "docx".equalsIgnoreCase(fileExtension)) {
return "application/msword";
}
if (".xml".equalsIgnoreCase(fileExtension)) {
return "text/xml";
}
if (".mp4".equalsIgnoreCase(fileExtension)) {
return "video/mp4";
}
// android
if (".apk".equalsIgnoreCase(fileExtension)) {
return "application/vnd.android.package-archive";
}
// ios
if (".ipa".equals(fileExtension)) {
return "application/vnd.iphone";
}
// 默认返回类型
return "application/octet-stream";
}
}
大文件分片上传（改造）
/**
* 上传图片至OSS 文件流
*
* @param ossClient oss连接
* @param file 上传文件（文件全路径如：D:\\image\\cake.jpg）
* @param bucketName 桶名称
* @param folder 阿里云API的文件夹名称（父文件夹）
* @param format 阿里云API的文件夹名称（子文件夹）
* @param formats 文件名
* @return String 返回的唯一MD5数字签名
*/
public static String[] uploadObject2OSS(OSS ossClient, File file, String bucketName, String folder, String format, String formats) {
// 创建一个可重用固定线程数的线程池
ExecutorService executorService = Executors.newFixedThreadPool(5);
String[] resultArr = new String[2];
try {
// 分片上传
folder = folder + format;
// 文件名
String fileName = file.getName();
// 文件扩展名
String fileExtension = fileName.substring(fileName.lastIndexOf("."));
// 最终文件名：UUID + 文件扩展名
fileName = formats + fileExtension;
// 上传路径 如：appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
// objectName表示上传文件到OSS时需要指定包含文件后缀在内的完整路径，例如abc/efg/123.jpg
String objectName = folder + fileName;
log.info("上传到路径：" + objectName);
// 文件大小
long fileSize = file.length();
// 创建上传Object的Metadata
ObjectMetadata metadata = new ObjectMetadata();
// 指定该Object被下载时的网页的缓存行为
metadata.setCacheControl("no-cache");
// 指定该Object下设置Header
metadata.setHeader("Pragma", "no-cache");
// 指定该Object被下载时的内容编码格式
metadata.setContentEncoding("utf-8");
// 文件的MIME，定义文件的类型及网页编码，决定浏览器将以什么形式、什么编码读取文件。如果用户没有指定则根据Key或文件名的扩展名生成，
// 如果没有扩展名则填默认值application/octet-stream
metadata.setContentType(getContentType(fileExtension));
// 指定该Object被下载时的名称（指示MINME用户代理如何显示附加的文件，打开或下载，及文件名称）
metadata.setContentDisposition("filename/filesize=" + fileName + "/" + fileSize + "Byte.");
// 创建InitiateMultipartUploadRequest对象
InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName, metadata);
// 初始化分片
InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
// 返回uploadId，它是分片上传事件的唯一标识，您可以根据这个uploadId发起相关的操作，如取消分片上传、查询分片上传等
String uploadId = upresult.getUploadId();
// partETags是PartETag的集合。PartETag由分片的ETag和分片号组成
List<PartETag> partETags = Collections.synchronizedList(new ArrayList<>());
// 计算文件有多少个分片
final long partSize = 1 * 1024 * 1024L; // 1MB
long fileLength = file.length();
int partCount = (int) (fileLength / partSize);
if (fileLength % partSize != 0) {
partCount++;
}
if (partCount > 10000) {
throw new RuntimeException("分片总块数不能超过10000");
} else {
log.info("分片总块数：" + partCount);
}
// 遍历分片上传
for (int i = 0; i < partCount; i++) {
long startPos = i * partSize;
long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
int partNumber = i + 1;
// 实现并启动线程
executorService.execute(new Runnable() {
@Override
public void run() {
InputStream inputStream = null;
try {
inputStream = new FileInputStream(file);
// 跳过已经上传的分片
inputStream.skip(startPos);
UploadPartRequest uploadPartRequest = new UploadPartRequest();
uploadPartRequest.setBucketName(bucketName);
uploadPartRequest.setKey(objectName);
uploadPartRequest.setUploadId(uploadId);
uploadPartRequest.setInputStream(inputStream);
// 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
uploadPartRequest.setPartSize(curPartSize);
// 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出这个范围，OSS将返回InvalidArgument的错误码。
uploadPartRequest.setPartNumber(partNumber);
// 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。
UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
//每次上传分片之后，OSS的返回结果会包含一个PartETag。PartETag将被保存到PartETags中。
synchronized (partETags) {
partETags.add(uploadPartResult.getPartETag());
}
} catch (IOException e) {
e.printStackTrace();
} finally {
if (inputStream != null) {
try {
inputStream.close();
} catch (IOException e) {
log.error(e.getMessage());
}
}
}
}
});
}
// 等待所有的分片完成
// shutdown方法：通知各个任务（Runnable）的运行结束
executorService.shutdown();
while (!executorService.isTerminated()) {
try {
// 指定的时间内所有的任务都结束的时候，返回true，反之返回false，返回false还有执行完的任务
executorService.awaitTermination(5, TimeUnit.SECONDS);
} catch (InterruptedException e) {
log.error(e.getMessage());
}
}
// 立即关闭所有执行中的线程
// executorService.shutdownNow();
// 验证是否所有的分片都完成
if (partETags.size() != partCount) {
throw new IllegalStateException("文件的某些部分上传失败！");
} else {
log.info("文件上传成功：" + file.getName());
}
// 完成分片上传 进行排序。partETags必须按分片号升序排列
Collections.sort(partETags, new Comparator<PartETag>() {
@Override
public int compare(PartETag o1, PartETag o2) {
return o1.getPartNumber() - o2.getPartNumber();
}
});
// 创建CompleteMultipartUploadRequest对象
// 在执行完成分片上传操作时，需要提供所有有效的partETags。OSS收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，OSS将把这些分片组合成一个完整的文件
CompleteMultipartUploadRequest completeMultipartUploadRequest = new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
// 设置文件访问权限
// completeMultipartUploadRequest.setObjectACL(CannedAccessControlList.PublicRead);
// 完成上传
CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
if (completeMultipartUploadResult != null) {
// 解析结果
resultArr[0] = completeMultipartUploadResult.getETag();
resultArr[1] = objectName;
return resultArr;
}
} catch (Exception e) {
e.printStackTrace();
log.error("上传阿里云OSS服务器异常." + e.getMessage(), e);
} finally {
// 关闭OSSClient
ossClient.shutdown();
}
return null;
}
controller调用
/**
* 上传文件（阿里OSS）
*
* @param file 文件对象
* @return
*/
@ApiOperation("上传文件")
@PostMapping("uploadFile")
@ResponseBody
public ResponseResult uploadFile(@RequestParam(name = "file") MultipartFile file) {
String saveUrl = "";
try {
log.info("------文件上传方法执行------");
long startTime = System.currentTimeMillis();
// 阿里OSS
SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMdd");
Date date = new Date();
// 阿里云API的文件夹名称（子文件夹）
String format = dateFormat.format(date) + "/";
// 文件名
String formats = String.valueOf(UUID.randomUUID());
// MultipartFile 转 File
File newFile = MultipartFileToFileUtil.multipartFileToFile(file);
// 返回结果 resultArr[0]：唯一MD5数字签名 resultArr[1]：如："appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk"
String[] resultArr = AliyunOSSClientUtil.uploadObject2OSS(AliyunOSSClientUtil.getOSSClient(), newFile, bucketName, folder, format, formats);
// 网络URL地址：s端传入cdn链接 + resultArr[1]
if (resultArr != null) {
String path = resultArr[1];
// 保存路径url地址：http://zhiliaoappversion.oss-cn-beijing.aliyuncs.com/appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
saveUrl = AliyunOSSClientUtil.getUrl(bucketName, path);
}
// 删除本地临时文件
MultipartFileToFileUtil.deleteTempFile(newFile);
long endTime = System.currentTimeMillis();
log.info("------文件上传成功，耗时" + ((endTime - startTime) / 1000) + "s------");
return ResponseResult.success(StatusEnums.UPLOAD_SUCCESS.getMsg(), saveUrl);
} catch (Exception e) {
e.printStackTrace();
log.info("------文件上传失败------");
return ResponseResult.error(StatusEnums.UPLOAD_ERROR.getMsg());
}
}
这里是单文件上传，如果需要多文件可对代码进行修改
MultipartFileToFileUtil类
/**
* 文件转换工具类
*
* @author xiegege
* @date 2020-07-23
*/
public class MultipartFileToFileUtil {
/**
* MultipartFile 转 File
*
* @param file
* @throws Exception
*/
public static File multipartFileToFile(MultipartFile file) {
try {
File toFile;
if (file != null && file.getSize() > 0) {
InputStream ins = null;
ins = file.getInputStream();
toFile = new File(file.getOriginalFilename());
inputStreamToFile(ins, toFile);
ins.close();
return toFile;
}
return null;
} catch (IOException e) {
e.printStackTrace();
return null;
}
}
/**
* 获取流文件
*
* @param ins
* @param file
*/
public static void inputStreamToFile(InputStream ins, File file) {
try {
OutputStream os = new FileOutputStream(file);
int bytesRead;
byte[] buffer = new byte[8192];
while ((bytesRead = ins.read(buffer, 0, 8192)) != -1) {
os.write(buffer, 0, bytesRead);
}
os.close();
ins.close();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 删除本地临时文件
*
* @param file
*/
public static void deleteTempFile(File file) {
if (file != null) {
File del = new File(file.toURI());
del.delete();
}
}
}
yml配置
aliyunOSS:
endpoint: http://oss-cn-hangzhou.aliyuncs.com # 阿里云API的内或外网域名
accessKeyId: LTAI4FzJPcJe******** # 阿里云API的密钥AccessKeyID
accessKeySecret: tD2gnQKDriTCoJ6i******** # 阿里云API的密钥AccessKeySecret
bucketName: hzlimgtest # bucket（桶）名称
folder: uploadfile/ # 文件夹名称（父文件夹：域名 + uploadfile/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk）
运行结果
http://hzlimgtest.oss-cn-hangzhou.aliyuncs.com/uploadfile/20200925/b80a967d-6423-4299-a875-4b7d9d2958ed.jpg
hzlimgtest 就是我们的桶名称
uploadfile 可以理解成父文件夹
20200925 可以理解成子文件夹
基本上桶名与父文件夹不变，子文件夹根据日期变化而变化，文件名使用UUID生成
注意
在阿里云服务器上部署的项目，如果上传文件很慢，可以使用内网地址上传，速度非常快！
内网地址：http://oss-cn-hangzhou-internal.aliyuncs.com