Flume同步数据到hive

一.检查flume/lib下是否有一下jar包:

libfb303-0.9.3.jar,
hive-exec-1.2.1000.2.5.3.0-37.jar,
hive-metastore-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-streaming-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-streaming.jar,
hive-hcatalog-server-extensions-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-server-extensions.jar,
hive-hcatalog-pig-adapter-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-pig-adapter.jar,
hive-hcatalog-core-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-core.jar

没有的话可以在服务器上find然后cp一波,后面八个在同一个文件夹下
二.建表时一定满足条件
1.分桶
2.orc格式
3.TBLPROPERTIES ('transactional'='true');
三.查询时如果出现报错,不管三七二十一直接

set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
set hive.support.concurrency=true

你可能感兴趣的:(Flume同步数据到hive)