es数据跨集群迁移（HDSF方法）
es 备份存储方式支持以下几种方式:
fs 文件挂载
url 网络协议存储 (http,https,ftp)
s3 亚马逊
hdfs
azure 微软
gcs 谷歌
本篇文章采用hdfs方式存储
1.repository(仓库)
es集群中,想要备份数据,必须创建仓库,用来存储快照,一个集群可以创建多个仓库
2.snapshot (快照)
创建仓库后,我们可以创建快照,创建快照时必须指定一个仓库,需要依附某个仓库
某个快照包含多个index(数据库,schemea),默认备份整个集群index；当然可以指定备份的索引
3.restore (恢复)
备份后导入到hdfs,进行快照恢复.
关闭集群安全(否则没有办法获取hdfs的权限)
源集群
1.修改配置文件
修改yml属性,禁用安全管理
security.manager.enabled:false
启动ES集群。
2.安装repository-hdfs插件
将repository-hdfs插件解压缩到/etc/search1/conf/plugins/目录(每个节点都要装)。
重启ES集群。
3.创建hdfs文件目录并修改属主属组
假设仓库放在/testt/es目录。
hdfs --config /etc/hdfs1/conf dfs -mkdir -p /testt/es
hdfs --config /etc/hdfs1/conf dfs -chown -R elasticsearch:elasticsearch /testt/es
4.创建仓库
注：建议每个库建一个快照，防止快照索引信息混乱，造成快照恢复的时候出现快照不存在或者快照恢复成功0个失败0个成功的问题
HDFS Namenode: hdfs://10.1.42.165:8020
仓库路径：/testt/es
HDFS 配置文件： /etc/hdfs1/conf/hdfs-site.xml
curl -XPUT http://10.1.42.165:9200/_snapshot/backup100 -d '
{
"type": "hdfs",
"settings": {
"uri": "hdfs://10.1.42.165:8020",
"path": "/testt/es",
"conf_location": "/etc/hdfs1/conf/hdfs-site.xml"
}
}
'
5.创建对应仓库的快照
要备份的index: test_es
curl -XPUT http://10.1.42.165:9200/_snapshot/backup100/snapshot_1 -d '
{
"indices": "test_es",
"ignore_unavailable": "true",
"include_global_state": "false",
"partial": "false"
}
'
6.用MapReduce将数据传输到目标集群的hdfs上(注：先跨集群传输到tmp
目录下，在移动到目标集群的目标目录下，为了安全)
Hadoop distcp /testt/es hdfs://10.1.42.16:8020/tmp
目标集群
1.移动到目标集群的目标目录下
Hdfs dfs -mv /tmp/es /testt
2.更改属名属组
hdfs --config /etc/hdfs1/conf dfs -chown -R elasticsearch:elasticsearch /testt/es
3.创建目标集群的仓库
curl -XPUT http://10.1.42.7:9200/_snapshot/backup100 -d '
{
"type": "hdfs",
"settings": {
"uri": "hdfs://10.1.42.16:8020",
"path": "/testt/es",
"conf_location": "/etc/hdfs1/conf/hdfs-site.xml"
}
}
'
4.恢复快照
要恢复的index: test_es
恢复成index: restored_index_test_es
curl -XPOST http://10.1.42.7:9200/_snapshot/backup100/snapshot_1/_restore -d '
{
"indices": "test_es",
"ignore_unavailable": "true",
"include_global_state": "false",
"rename_pattern": "test_es",
"rename_replacement": "restored_index_test_es"
}
'
辅助性操作
查看快照状态
curl localhost:9200/_snapshot/backup_test/snapshot_1/_status?pretty
查看恢复状态
curl localhost:9200/index1/_recovery?pretty
删除快照
curl -XDELETE localhost:9200/_snapshot/backup_test/snapshot_1
查看仓库信息
GET /_snapshot/my_backup
当前所有仓库信息
GET /_snapshot
GET /_snapshot/_all
删除仓库信息:仅仅删除index,不会删除hdfs数据
DELETE /_snapshot/my_backup
查询快照
GET /_snapshot/my_backup/snapshot_1 //查询指定快照
GET /_snapshot/my_backup/snapshot_*,otherSnapshot //支持通配符
GET /_snapshot/my_backup/_all //查询所有快照
删除一个快照:仅删除引用,未删除hdfs数据
DELETE /_snapshot/my_backup/snapshot_1
补充:
es1.x备份索引可以直接在es2.x恢复
es2.x备份索引可以直接在es5.x恢复
但是es1.x不可以在es5.x恢复,兼容只垮一个版本
问题：
恢复快照数据，如果目标集群已经存在同名索引，需要先close索引
恢复某个快照所有数据
curl -XPOST localhost:9200/_snapshot/backup_test/snapshot_1/_restore?wait_for_completion=trues
恢复某个快照部分索引数据
curl -XPOST localhost:9200/_snapshot/backup_test/snapshot_1/_restore?wait_for_completion=true -d '
{
"indices": "index1,index2"
}
'