hive 小记

阅读更多

hive 小记

 

hive hadoop hdfs

 

测试环境

• centos6.5 64bit
• hadoop-2.5.2
• hive-0.14

udf引入第三方lib包

将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量:

    export HIVE_AUX_JARS_PATH="/usr/local/hivelib/"

即可

设置hive的任务名

hive (default)>set mapred.job.name =test_xxx; 

比较遗憾的是没有找到将hive的stage带入到任务名中

自定义udf函数加入到hive并指定函数名

在.hiverc文件中添加如下内容:

add jar /home/blueadmin/hivelib/hive_plugin-0.0.4-SNAPSHOT.jar;
CREATE TEMPORARY FUNCTION json_udtf AS 'com.hadoop.hive.udtf.JsonUDTF';

.hiverc文件可以在初始化时默认执行的hive设置放到.hiverc文件中,避免每次进入hive cli中要重新显式的声明