es数据备份和恢复
Elasticsearch 5.x 数据备份和恢复可由 snapshot 模块来完成，snapshot模块可以通过文件共享系统为单个索引或整个集群远程创建快照和进行数据恢复。
数据备份
索引快照时增量的。在创建快照前es会分析已有快照仓库，只对上次备份后更改的内容进行增量备份。在创建备份时同一个集群中只能运行一个es snapshot进程。
Es 基础命令
创建快照仓库
curl -X PUT "node1:9200/_snapshot/my_backup" -H 'Content-Type: application/json' -d'{ "type": "fs", "settings": { "location": "sys_backup" } }'
查看已注册的快照仓库
curl -X GET "node1:9200/_snapshot/my_backup"
可以使用逗号间隔多个仓库，星号通配符匹配所有仓库名字，下面示例返回仓库名以repo开头的和包含backup的仓库信息：
curl -X GET "node1:9200/_snapshot/repo*,*backup*"
获取所有已注册快照仓库，省略仓库名或者使用_all
curl -X GET "node1:9200/_snapshot"
或者
curl -X GET "node1:9200/_snapshot/_all"
查看快照仓库列表
curl -X GET "node1:9200/_cat/repositories?v"
准备工作
文件共享系统
nfs、hdfs？
共享文件系统仓库（“type”: “fs”）使用共享文件系统存快照，如果要注册共享文件系统仓库，必须在所有master和data节点挂载相同的共享文件系统到同一个路径位置。这个路径位置（或者它的一个父目录）必须在所有master和data节点的path.repo设置上注册。
假设共享文件系统挂载到 /data/backups/es_backup ，应该在elasticsearch.yml文件中添加如下配置：
path.repo: ["/data/backups", "/data/longterm_backups"]
创建快照仓库
所有节点重启之后，执行下面的命令注册名字为 es_backup 的共享文件系统仓库：
curl -X PUT 'node1:9200/_snapshot/es_backup?verify=false' -H 'Content-Type: application/json' -d'{ "type": "fs", "settings": { "location": "/mount/backups/es_backup", "compress": true, "max_restore_bytes_per_sec": 50m, "max_snapshot_bytes_per_sec": 30m } }'
如果使用相对路径，该路径将根据在path.repo中定义的第一个路径决定：
curl -XPUT 'http://node1:9200/_snapshot/es_backup?verify=false' -H 'Content-Type: application/json' -d '{ "type": "fs", "settings": { "location": "es_backup", "compress": true, "max_restore_bytes_per_sec": 50m, "max_snapshot_bytes_per_sec": 30m } }'
参数说明
| 参数 |
含义 |
| location |
快照存储位置 |
| compress |
是否压缩源文件，默认为true |
| chunk_size |
如果有需要，可以将大文件分解为多个小文件，默认不开启 |
| max_restore_bytes_per_sec |
指定数据恢复速度，默认为 40m/s |
| max_snapshot_bytes_per_sec |
指定创建快照时的速度，默认为 40m/s |
| readonly |
设置为只读仓库，默认为false |
Repository Verification
在创建一个仓库时，会即刻在集群所有节点验证确保其功能在所有节点可用，verify 参数可以用来取消该验证（如果想使用验证功能，创建仓库时去掉 ?verify=false 参数即可）：
curl -XPUT 'http://node1:9200/_snapshot/es_backup?verify=false' -H 'Content-Type: application/json' -d '{ "type": fs ... ... }'
验证过程可以通过下面命令手动执行：
curl -X POST "node1:9200/_snapshot/es_backup/_verify"
Snapshot
创建快照
一个仓库可以拥有同一个集群的多个快照。在一个集群中快照拥有一个唯一名字作为标识。
示例： 在仓库 es_backup 中创建名字为 test_snapshot 的快照，可以通过执行下面的命令来实现。
curl -X PUT "node1:9200/_snapshot/es_backup/test_snapshot?wait_for_completion=true"
参数 wait_for_completion 决定请求是在快照初始化后立即返回（默认），还是等快照创建完成之后再返回。快照初始化时，所有之前的快照信息会被加载到内存，所以在一个大的仓库中改请求需要若干秒（甚至分钟）才能返回，即使参数 wait_for_completion 的值设置为 false。
默认情况下，创建一个快照会包含集群中所有打开和启动状态的索引。可以通过在创建快照的请求体中定义索引列表来改变这个默认处理：
curl -X PUT "node1:9200/_snapshot/es_backup/test_snapshot_2?wait_for_completion=true" -H 'Content-Type: application/json' -d' { "indices": "index_1,index_2", "ignore_unavailable": true, "include_global_state": false }
要包含到快照中索引列表可以使用支持多个索引语法的 indices 参数来指定。快照请求也支持 ignore_unavailable 选项，该选项设置为 true 时，在创建快照时会忽略不存在的索引。默认情况下，如果选项 ignore_unavailable 没有设值，一个索引缺失，快照请求会失败。
通过设置 include_global_state 为 false，可以阻止集群全局状态信息被保存为快照的一部分。默认情况下，如果如果一个快照中的一个或者多个索引没有所有主分片可用，整个快照创建会失败，该情况可以通过设置 partial 为 true 来改变。
快照名可以通过使用 date_math_expressions 来自动获得，和创建新索引时类似。注意特殊字符需要 URI 转码处理。
例如，在名字中使用当前日期，比如 snapshot-2018.05.11，来创建快照，可以使用如下命令完成：
# PUT /_snapshot/es_backup/
创建快照：
curl -X PUT "node1:9200/_snapshot/es_backup/syslog?wait_for_completion=true" -H 'Content-Type: application/json' -d' { "indices": "bash_history.log*,secure.log*,cron.log*", "ignore_unavailable": true, "include_global_state": false }
查看快照信息
curl -X GET "node1:9200/_snapshot/es_backup/syslog"
这个命令返回快照的基本信息，包括开始合结束时间、创建快照的 ElasticSearch 版本、包含的索引列表、快照当前状态和快照期间产生的失败索引列表。快照的状态有：
| 状态 |
含义 |
| IN_PROGRESS |
正在创建快照 |
| SUCCESS |
快照创建成功 |
| FAILED |
快照创建完成，但是有错误，数据不会保存 |
| PARTIAL |
整个集群备份完成，但是至少有一个shard数据存贮失败，会有更具体报错信息 |
| INCOMPATIBLE |
创建快照的es版本和当前集群es版本不一致 |
查看某仓库下所有快照信息：
curl -X GET "node1:9200/_snapshot/es_backup/_all"
查看当前正在运行的快照：
curl -X GET "localhost:9200/_snapshot/my_backup/_current"
删除快照
从仓库中删除一个快照，使用如下命令：
curl -X DELETE "node1:9200/_snapshot/es_backup/test_snapshot_2"
当一个快照从仓库中删除，ElasticSearch 将删除该快照关联的但不被其他快照使用的所有文件。如果在快照创建的时候执行快照删除操作，此快照创建进程将终止且所有该进程已创建的文件也将被清理。所以，快照删除操作可以用来取消错误启动的长时间运行的快照操作。
删除仓库
可以使用下面命令注销仓库：
curl -X DELETE "node1:9200/_snapshot/es_backup"
数据恢复
全量恢复
快照可以通过执行以下命令恢复
curl -X POST "node1:9200/_snapshot/es_backup/syslog/_restore"
默认情况下，快照中的所有索引将被恢复，集群状态不被恢复。可以通过在恢复请求中使用 indices 和 include_global_state 选项来指定要恢复的索引和允许恢复集群全局状态。索引列表支持多索引语法。rename_pattern 和 rename_replacement 选项在恢复时通过正则表达式来重命名索引。设置 include_aliases 为 false 可以防止与索引关联的别名被一起恢复。
curl -X POST "localhost:9200/_snapshot/my_backup/snapshot_1/_restore" -H 'Content-Type: application/json' -d' { "indices": "index_1,index_2", "ignore_unavailable": true, "include_global_state": true, "rename_pattern": "index_(.+)", "rename_replacement": "restored_index_$1" }'
恢复操作可以在正常运行的集群上执行。已存在的索引只能在关闭状态下才能恢复，并且要跟快照中索引拥有相同数目的分片。还原操作自动打开关闭状态的索引，如果被还原索引在集群不存在，将创建新索引。如果集群状态通过include_global_state （默认是 false）选项被还原，在集群中不存在的模板会被新增，已存在的同名模板会被快照中的模板替换。持久化设置会被添加到现有的持久化设置中。
参考
- 官方：https://www.elastic.co/guide/en/elasticsearch/reference/5.5/modules-snapshots.html
- 示例1：https://blog.csdn.net/ale2012/article/details/82702128
© 著作权归作者所有
打赏点赞 (0)收藏 (8)
分享
举报
上一篇：Linux环境变量
下一篇：记一次centos 7内核升级事故
阿dai学长
粉丝 68
博文 225
码字总数 295497
作品 0
海淀
运维
关注 私信 提问
相关文章最新文章
Elasticsearch 备份和恢复
备份步骤： 1、设置备份目录（用于存储备份文件）： 进入es安装目录下面的config，编辑elasticsearch.yml加入： path.repo: ["/data/es_backup"] /data/es_backup:备份目录，根据自己情况进行...
Zero零_度
2016/11/04
20
0
Elasticsearch 备份和恢复
备份步骤： 1、设置备份目录（用于存储备份文件）： 进入es安装目录下面的config，编辑elasticsearch.yml加入： path.repo: ["/data/es_backup"] /data/es_backup:备份目录，根据自己情况进行...
打字猿
2016/10/31
821
0
Elastic大数据量迁移方法及注意事项
一、需求 1 需求 ES集群ClusterA里的数据（某个索引或某几个索引），需要迁移到另外一个ES集群ClusterB中。 ES集群的索引有大有小，个别索引达到5T磁盘空间占用。 2 环境 Linux：Centos7 / C...
wyl9527的博客
2017/12/13
0
0
大数据量Elastic数据迁移方法及注意事项
一、需求 1 需求 ES集群ClusterA里的数据（某个索引或某几个索引），需要迁移到另外一个ES集群ClusterB中。 ES集群的索引有大有小，个别索引达到5T磁盘空间占用。 2 环境 Linux：Centos7 / C...
wyl9527
2017/12/13
0
0
ElasticSearch数据备份与恢复
ES备份快照的时候可以用或者。有点麻烦，我们使用。 1.安装hdfs插件（如果已安装，则忽略这一步）： 注意下载后会提示是否安装，一定要输入 ，否则视为取消安装。 安装完之后要重启ES集群. 2...
cjsoldier