【F2C】用repository-hdfs将elasticsearch的索引备份到hdfs

最近在研究ELK，随手写点笔记心得，新手新手

==============================================

参考了这篇文章的 http://bigbo.github.io/pages/2015/02/28/elasticsearch_hadoop/

自己在做的时候有些不同，可能版本更新了吧，现在用的是5.5版本的，所以说到底还是官方为准…

hadoop为2.8.0版本

安装：

./bin/elasticsearch-plugin install repository-hdfs

直接下载的，速度不算慢

移除

./bin/elasticsearch-plugin remove repository-hdfs

配置使用：

curl -XPUT 'http://10.10.100.99:9200/_snapshot/backup' -d '{
  "type": "hdfs",
    "settings": {
            "uri": "hdfs://localhost:9000",
            "path": "path/to/store",
            "conf_location": "./hadoop-2.8.0/etc/hadoop/hdfs-site.xml"
    }
}'

关于配置：（上面的都是必须配置的，也是最简单的，如果有要求可参照下面，自己也没用过，翻译了一下）

uri                 :    hdfs的uri在 ./hadoop-2.8.0/etc/hadoop/core-site.xml 下可以看到

path              :    数据存储/加载的路径

load_defaults:    是否加载hadoop默认配置（默认开启）

config.:    是否要将内联配置参数加载到hadoop（可选）

compress      :    是否压缩元数据（默认关闭）

chunk_size    :    覆盖块大小（默认关闭）

security_principle:连接到hadoop时是否使用kerberos

备份快照：

curl -XPUT 10.10.100.99:9200/_snapshot/backup/snapshot_[number]

恢复快照：

要先关闭所有的索引才能恢复

curl -XPOST 10.10.100.99:9200/_all/_close

恢复

url -XPOST 10.10.100.99:9200/_snapshot/backup/snapshot_[number]/_restore

原本想把索引全部导入HDFS后做分析的，不过这种方法只能建立一个快照，数据没导过去

暂时还没找到能将索引导入HDFS的好方法，可能要重新设计才行了> <