awss3mysql_阿里云OSS、AWS S3使用方法简介

阿里云OSS

目录

一、oss ossutil工具

二、oss ossfs Bucket挂载工具

三、AWS CLI S3工具

四、s3fs 挂载AWS S3

一、ossutil 工具使用

以命令行方式管理OSS数据的工具，提供方便、简洁、丰富的Bucket和Object管理命令，支持Windows、Linux、 Mac平台

配置步骤

1、下载对应客户端

https://help.aliyun.com/document_detail/120075.html?spm=a2c4g.11186623.6.702.35c134afzc5m1n

2、配置ossuntil依赖文件config

首先从RAM访问控制 获取用户AccessKey 里面包含accessKeyID、accessKeySecret信息，用户需要设置OSS对应的操作权限

3、运行下载的./ossutil配置config认证权限

./ossutil64 config

endpoint：填写Bucket所在地域的域名信息，可参考访问域名和数据中心。

accessKeyID：查看方式请参考创建AccessKey。

accessKeySecret：查看方式请参考创建AccessKey。

stsToken：非必配项，若采用STS临时授权方式访问OSS需要配置该项，否则置空即可。stsToken生成方式参考临时访问凭证。

config文件默认存放到对应用户的家目录 其它位置可使用， --config-file参数 指定config文件的存放位置

定时任务、自动化脚本之类需要系统自动执行的，存放位置为

C:\Windows\System32\config\systemprofile

4、常用复制命令cp、OSS路径是区分大小写的

上传：格式：./ossutil cp -r -- dir oss://bucket/path

下载：把上格式对换路径就行

例:从OSS对象桶testoss拷贝 2020422.zip 到D:\oss盘

--update对存在的文件进行更新

--parallel 4 以4个线程同时下载

./ossutil cp -r --update --parallel 4 oss://testoss/2020422.zip D:\oss

注意事项

错误一 unexpected EOF

OSS下载单个大文件(超过2G以上)容易报EOF错误，原因是并发太多 线程之间抢占资源导致报错，可以用 probe 命令对下载进行测试，根据测试值指定并发数 --parallel

./ossutilmac64 probe --probe download-speed --bucketname liupeng72 --object oss-browser-darwin-x64-1.zip

image.png

错误二 检查系统时间是否正确

FinishWithError: Scanned 1 objects. Error num: 1. OK num: 0, Transfer size: 0.

Error: oss: servi