ELK建立AWS S3仓库保存快照(snapshot)

公司要求保持三个月的数据,之前的索引保存在S3上
官方文档:https://www.elastic.co/guide/en/elasticsearch/plugins/7.2/repository-s3.html

安装插件

注意用启动用户安装,或者用root安装完后,修改文件夹权限,如果不是aws的服务器,需要用到用户密码,记得安装完插件之后,就添加keystore,在启动,总之,添加完keystore之后必须重启程序,否则会不生效

sudo bin/elasticsearch-plugin install repository-s3

如果非IAM方式,添加keystore

bin/elasticsearch-keystore add s3.client.default.access_key
bin/elasticsearch-keystore add s3.client.default.secret_key
  1. 建立仓库
    此处就不提供接口方式,直接在kibana建立
    ELK建立AWS S3仓库保存快照(snapshot)_第1张图片
    ELK建立AWS S3仓库保存快照(snapshot)_第2张图片
    建立完,之后检测,通过
    ELK建立AWS S3仓库保存快照(snapshot)_第3张图片
  2. 建立snapshot,在kibana中执行
    将全部索引建立为s3-test仓库下的snapshot_1快照
    wait_for_completion=true 会在快照打完之后,返回结果
PUT /_snapshot/s3-test/snapshot_1?wait_for_completion=true
  1. 快照部分索引
PUT /_snapshot/s3-test/snapshot_2?wait_for_completion=true
{
  "indices": "test-2019.06.27,test-2019.08.07",
  "ignore_unavailable": true,
  "include_global_state": false
}
  1. 导入快照的全部索引
POST /_snapshot/s3-test/snapshot-2019.08.10/_restore
  1. 导入快照的部门索引
POST /_snapshot/s3-test/snapshot-2019.08.10/_restore
{
  "indices": "test-2019.08.07"
}
  1. 导入快照部分索引,且只导入主分片,不导入副本
POST /_snapshot/s3-test/snapshot-2019.08.10/_restore
{
  "indices": "test-2019.06.27",
    "index_settings": {
    "index.number_of_replicas": 0
  },
  "ignore_index_settings": [
    "index.refresh_interval"
  ]
}

7.删除某个快照

DELETE /_snapshot/s3-test/snapshot-2019.10.09

你可能感兴趣的:(linux运维)