Mongodb数据同步到Hive

思路：利用Mongodb的export工具导出数据成json格式；

             load该json数据到临时hive表的一个字段；

             从该临时hive表解析json落地成最终的表；

代码：

1. 利用Mongodb的export工具导出数据成json格式

$mongo_path/bin/mongoexport -h $host:27017 -u $user -p $password -d $db -c $collection --fields _id,listContent,title,content --type json -q $query -o $mongodb_data_path/article_inc.json

2.load该json数据到临时hive表的一个字段

hive -e "truncate table schema_name.table_name;"
hive -e "load data local inpath '$mongodb_data_path/article_inc.json' overwrite into table schema_name.table_name;"

3. 从该临时hive表解析json落地成最终的表

insert overwrite table schema2_name.table2_name
select
    json_tuple("_id","title", "listContent", "content")
from schema_name.table_name;