MongoDB 同步 Hive 的两种方式

  1. 使用 DataX

  2. MongoDB-based http://blog.csdn.net/dr_guo/article/details/51698757

说明:
1. 如果Mongo 文档(即记录行)字段个数不定,对确实的字段 DataX 读取不到, 最后Hive 将产生错列。 可通过重写mongodbreader修正。
2. MongoDB-based 方式直接连接hidden节点,使用com.mongodb.hadoop.hive.MongoStorageHandler做数据Serde。
直接处理mongo里最新的数据,请使用只读账户连接MongoDB,如果使用写账户连接, 万一Hive 表被删除, 将同时删除MongoDB 对应集合。Tez 环境不支持。

你可能感兴趣的:(Hive)