elasticsearch数据迁移

reindex

官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.4/docs-reindex.html
_reindex API支持以某个索引为数据源构建一个新的索引。
如果elasticsearch的版本小于5.0，_reindex API只支持集群内部的索引重构迁移。
如果elasticsearch的版本为5.0及以上，不仅支持集群内部的索引重构迁移，而且支持从一个集群迁移数据到另一个集群，并且可以跨版本迁移，如果需要由低版本elasticsearch升级到高版本就可以采用这种方式。
参考：https://blog.csdn.net/qq_36666651/article/details/83792167
同时elasticsearch提供了ingestNODE，可以用于数据清洗等。

snapshot

适用于大量数据的迁移
官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/2.4/modules-snapshots.html#modules-snapshots
不能跨多版本迁移，目标集群必须能够读取源集群的索引，所以1.x最高只能迁移到2.x，2.x最高迁移到5.x，要想跨多版本迁移只能一步步来。
实施步骤参考：https://www.jianshu.com/p/2a569e8039bd

elasticsearch-dump

如果集群版本较低，要进行数据迁移，就需要使用第三方的elasticsearch-dump工具。
github地址：https://github.com/taskrabbit/elasticsearch-dump

安装

# elasticsearch-dump采用node.js  所以需要先安装环境
yum -y install epel-release
yum -y install nodejs
# 检查
node --version
npm --version
# elasticdump
npm install elasticdump -g

迁移

# 依次操作
# 详细参数参考github的文档描述
node --max-old-space-size=2048 /usr/bin/elasticdump \
  --input=http://172.16.13.14:9200/index_name \
  --type=settings \
  --output=http://192.168.3.41:9200 \
  --limit=20000

node --max-old-space-size=2048 /usr/bin/elasticdump \
  --input=http://172.16.13.14:9200/index_name \
  --type=mapping \
  --output=http://192.168.3.41:9200 \
  --limit=20000

node --max-old-space-size=2048 /usr/bin/elasticdump \
  --input=http://172.16.13.14:9200/index_name \
  --type=data \
  --output=http://192.168.3.41:9200 \
  --limit=20000

PS：还一个类似的工具Elasticsearch-Exporter

logstash

参考 https://www.jianshu.com/p/97dbaf78359b
配置文件示例

input {
        elasticsearch {
                hosts => "172.16.13.14:9200" #配置 elasticsearch的地址及index
                index => "test_index"
                query => '{ "query": {"match_all" : {} } }' #配置匹配模式
                size => 10000 #配置遍历数据
                scroll => "5m" # 配置遍历时间间隔
                docinfo => true
        }
}

output {
        elasticsearch {
                hosts => ["192.168.3.20:9200"]
                index => "test_index"
        }
}