aws cli 上传文件到s3命令_使用 AWS CLI 分段上传到 Amazon S3

如何使用 AWS CLI 将文件分段上传到 Amazon S3？

上次更新时间：2020 年 11 月 10 日

我想将一个大文件作为多个部分或使用分段上传复制到 Amazon Simple Storage Service (Amazon S3) 存储桶。如何使用 AWS 命令行界面 (AWS CLI) 执行此操作？

简短描述

您可以通过 AWS CLI，使用 aws s3 命令(高级别)或 aws s3api 命令(低级别)将大文件上传到 Amazon S3。有关这两个命令层的更多信息，请参阅结合使用 Amazon S3 与 AWS CLI。

最佳实践是使用 aws s3命令(例如 aws s3 cp)进行上传和下载，因为这些 aws s3 命令会根据文件大小自动执行分段上传和下载。相比之下，只有在 aws s3 命令不支持特定上传需求(例如，当分段上传涉及多个服务器时，手动停止分段上传并稍后恢复)或者 aws s3 命令不支持所需的请求参数时，才应使用 aws s3api命令(例如 awss3api create-multipart-upload)。

注意：如果在运行 AWS CLI 命令时遇到错误，请确保您使用的是最新版本的 AWS CLI。

解决方法

在上传文件之前，计算文件的 MD5 校验和值，以便在上传后执行完整性检查时作为参考。

(推荐)使用高级别 (aws s3) 命令上传文件

要使用高级别 aws s3命令执行分段上传，请运行以下命令：

$ aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/

此示例使用命令 aws s3 cp，但其他涉及将对象上传到 S3 存储桶的 aws s3 命令