腾讯云COS对象存储数据迁移及本地挂载

一、COS Migration（数据迁移工具）

1.下载解压

cd /usr

wget https://github.com/tencentyun/cos_migrate_tool_v5/archive/refs/tags/v1.4.6.zip

unzip v1.4.6.zip && cd cos_migrate_tool_v5-master

2.修改 config.ini 配置文件

cd ./cos_migrate_tool_v5-master

vim ./conf/config.ini

① 迁移类型默认为migrateLocal（从本地迁移至 COS）

[migrateType]

type=migrateLocal

② 修改公共配置（配置账户信息）

[common]

#用户的秘钥secret_id

secretId=

#用户的秘钥secret_key

secretKey=

#目的Bucket的名称

bucketName=examplebucket-1250000000

region=ap-shanghai

storageClass=Standard

cosPath=/

https=off

tmpFolder=./tmp

smallFileThreshold=5242880

smallFileExecutorNum=64

bigFileExecutorNum=8

entireFileMd5Attached=on

daemonMode=off

daemonModeInterVal=60

executeTimeWindow=00:00,24:00

outputFinishedFileFolder=./result

resume=false

skipSamePath=false

③ 配置数据源信息

[migrateLocal]

# 本地目录, 表示将该路径下的数据都迁移, 对于linux绝对路径, 如/a/b/c, 对于windows绝对路径，注意分隔符为两个反斜杠，如E:\\a\\b\\c

localPath=/data

# 要排除的目录或者文件的绝对路径, 表示将localPath下面某些目录或者文件不进行迁移，多个绝对路径之前用分号分割，不填表示localpath下面的全部迁移

excludes=

# 排除更新时间与当前时间相差不足一定时间段的文件，单位为秒。 

# 默认不设置, 表示不根据lastmodified时间进行筛选 

# 适用于在更新文件的同时又在运行迁移工具, 不准备把正在更新的文件迁移上传到COS, 比如设置为300, 表示只上传更新了5分钟以上的文件  

ignoreModifiedTimeLessThanSeconds=300

3.运行迁移工具

sh start_migrate.sh

4.注意事项

为防止迁移工具大量占用带宽，影响生产环境正常访问，修改配置文件部分默认参数

[common]

# 小文件的并发度，使用简单上传，此值对于带宽充足或小文件过多时，可以适当增大调整为128或者256等。 

#默认为64，这里修改为16

smallFileExecutorNum=16

# 大文件的并发度，使用分块上传,此值不宜过大，建议不大于32。

#默认为8，这里修改为4

bigFileExecutorNum=4

使用该参数实测上传速度最高为60+MB/S左右，下图为18G图片迁移成功的截图。

bucket: examplebucket-1250000000 , list finished:true, status:ALL_OK

migrateLocal over! op statistics:

                  migrate_new : 81248

                  migrate_update : 0

                  migrate_fail : 0

                  migrate_skip : 0

  migrate_condition_not_match : 0

                  start_time : 2022-01-08 13:28:42

                  end_time : 2022-01-08 13:39:34

                  used_time : 651 s

官方文档：https://cloud.tencent.com/document/product/436/15392

常见问题：https://cloud.tencent.com/document/product/436/30743

二、COSFS（Linux本地挂载cos存储桶）

1.安装cosfs工具

#添加/etc/mime.types解决Content-Type异常

sudo yum install mailcap

#安装必要依赖

sudo yum install libxml2-devel libcurl-devel -y

#下载安装包（以CentOS7为例）

cd /usr

wget https://github.com/tencentyun/cosfs/releases/download/v1.0.19/cosfs-1.0.19-centos7.0.x86_64.rpm

#安装

sudo rpm -ivh cosfs-1.0.19-centos7.0.x86_64.rpm

#验证安装

cosfs --version

2.配置挂载

#添加配置文件（替换成自己的参数信息）

echo examplebucket-1250000000:AKIDHTVVaVR6e3****:PdkhT9e2rZCfy6**** > /etc/passwd-cosfs

#提升配置文件权限

chmod 640 /etc/passwd-cosfs

#新建挂载点

mkdir -p  /data

#配置挂载

cosfs examplebucket-1250000000  /data  -ourl=http://cos.ap-shanghai.myqcloud.com -odbglevel=warn -oallow_other -oensure_diskfree=10240

3.配置开机自动挂载（CentOS7 适用）

# 新建配置文件

vim /etc/init.d/cosfs

#按i进入编辑模式，将以下代码拷贝进去

#! /bin/bash

#

# cosfs Automount Tencentyun COS Bucket in the specified direcotry.

# chkconfig: 2345 90 10

# description: Activates/Deactivates cosfs configured to start at boot time.

cosfs examplebucket-1250000000   /data  -ourl=http://cos.ap-shanghai.myqcloud.com -odbglevel=warn -oallow_other -oensure_diskfree=10240

#添加执行权限

chmod a+x /etc/init.d/cosfs

#添加启动脚本作为其他服务实现开机自启动

chkconfig cosfs on

4.卸载挂载命令、Nginx跳转COS

#卸载映射

fusermount -u /data

#添加Nginx跳转

location ^~ /data {

                proxy_pass https://examplebucket-1250000000.cos.ap-shanghai.myqcloud.com;

                proxy_redirect    off;

                }

官方文档：https://cloud.tencent.com/document/product/436/6883

常见问题：https://cloud.tencent.com/document/product/436/30745

参考链接：https://blog.nicky1605.com/linux-mount-cos.html