ElasticSearch数据导入Hive

从ES往hive中导入数据其实有很多方式，最基本的方法就是用es-java-api获取数据然后导入到hdfs中，就完了。但这种方式太过复杂，且通用性不高。

下面介绍一种方便的导入方式：

需要用到ES-hadoop插件：

第一次需要安装插件：

  下载地址：https://github.com/elasticsearch/elasticsearch-hadoop#readme

add上面的jar包到hive

hive –e “add jarelasticsearch-hadoop-2.1.1.jar;”

（其实前面有写从hive索引数据入ES，其实方式是一样。）

假如在ES中有如下索引，mapping如下：

"mappings": {     "keyword": {         "properties": {             "cnt": {                 "type": "double"             },             "key": {                 "type": "string"             }         }     } }

 

则在hive中建立一个映射外表：

CREATE EXTERNAL TABLE default.test001 (     cnt    DOUBLE,     key    STRING  ) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'wordcloud_keyword_ots/keyword','es.nodes'='10.130.2.46','es.port'='9200','es.field.read.empty.as.null'='false');

 

 

 

执行语句

Select cnt,key from default.test001 limit 10

 

注意事项：

1.es中的字段名称都要是小写，因为在建立hive映射表时，输入的大写字段名会转化成小写；导致字段会以小写的方式去es查找字段名；

2.不要直接使用这个映射外表，应定时从此表中把数据导入正式hive外表；

3.此映射外表没有建分区，当然也用不着，只需对表进行条件判断即可导出你想要的数据，这样更加方便；