ES使用腾讯云COS存储方案实现快照

ES快照（基于TXY COS存储）

---

简述

由于腾讯云的COS存储兼容S3的API，所以我们使用ES的S3 snapshot接口来对接COS存储，实现快照。

配置ES集群

• 搭建ES集群环境
  该部分由于不是本文讲解的重点，本文不进行讲解

• 在所有节点安装S3快照插件

bin/elasticsearch-plugin install repository-s3

• 将秘钥信息添加到elasticsearch-keystore（SecretId和SecretKey）

## SecretId
/opt/elasticsearch/bin/elasticsearch-keystore add s3.client.default.access_key
AABBCCDD000112233

## SecretKey
/opt/elasticsearch/bin/elasticsearch-keystore add s3.client.default.secret_key
AABBCCDD000112233

注意：添加的键名（如：s3.client.default.access_key）是固定的格式，在S3接口中命名规则为：s3.client.CLIENT_NAME.SETTING_NAME，而access_key和secret_key是两个固定设置名称，建议可以不修改，直接用。了解更多,可以查看ES client setttings，这里会更加详细的介绍。

• 在elasticsearch.yml中添加endpoint（告诉ES快照的服务器位置）配置

vim config/elasticsearch.yml
## 添加以下内容
s3.client.default.endpoint: cos.ap-guangzhou.myqcloud.com
### cos.ap-guangzhou.myqcloud.com替换为你COS地址

• 重启集群全部节点

配置快照

• 创建仓库

## estest-1252174127替换为你的COS空间名称
PUT _snapshot/esbackup
{
  "type": "s3",
  "settings": {
    "bucket": "estest-1252174127"
  }
}

创建快照

PUT _snapshot/esbackup/snapshot_1
{
  "indices": "metricbeat-*",
  "ignore_unavailable": true,
  "include_global_state": false
}

附录

• 常考资料如下
  ES S3仓库配置
  一次S3仓库异常的处理过程