Hive函数

Hive函数

函数分类

• cli命令
  • 显示当前对话有多少函数可用 show functions;
  • 显示函数的表述信息 desc function concat;
  • 显示函数的扩展描述信息 desc function extended concat;
• 简单函数
• 特殊函数
  • 窗口函数
    • 应用场景
      • 用于分区排序
      • 动态Group by
      • Top N
      • 累计计算
      • 层次查询
    • Windowing function
      • lead
      • lag
      • FIRST_VALUE
      • LAST_VALUE
  • 分析函数
    • THE OVER clause
      • COUNT
      • SUM
      • MIN
      • MAX
      • AVG
    • Analytics functions
      • RANK
      • ROW_NUIMBER
      • DENSE_RANK
      • CUME_DIST
      • PERCENT_RANK
      • NTILE
  • 混合函数
    • java_method(class,method[,arg1[,arg2...]])
    • reflect(class,method[,arg1[,arg2...]])
    • hash(a1[,a2])
  • UDTF
    • 表函数
      • lateralView:LATERAL VIEW udtf(expression) tableAlias AS columnAlias(',',columnAlias)* fromClause:FROM baseTable(lateralView)*
    • 例子
      • explode函数 :行展开为列

内置函数

正则表达式

• 使用正则表达式的函数
• A LIKE B，字符"_"表示任意单个字符，而字符"%"表示任意数量的字符
• A RLIKE B
  • select 1 from dual where 'footbar' rlike ^f.*r$;
• regexp_replace(string A,string B,string C)
  • select regexp_replace('footbar','oo|ar','') from dual;(return 'fb')
• regexp_extract(string subject,string pattern,int index)
  • select regexp_extract('foothebar','foo(.*?)(bar)',1) from winfunc;

自定义函数

UDF

• UDF-用户自定义函数(user defined function)
  • 针对单条记录
• 创建函数
  • 自定义一个java类
  • 继承UDF类
  • 重写evaluate方法
  • 打jar包
  • hive执行add jar
    • add jar /home/jar/function.jar
  • hive执行创建模板函数
    • create temporary function bigthan as 'com.udf.udftest';
  • hql中使用

UDAF

• UDAF用户自定义聚合函数
  • user defined aggregation function
  • 针对记录集合
• 开发通用UDAF有两个步骤
  • 第一个是编写resolver类，resolver负责类型检查，操作符重载。
  • 第二个是编写evaluator类，evaluator真正实现UDAF的逻辑
• 通常来说，顶层UDAF类继承org.apache.hadoop.hive.ql.udf.GenericUDAFResolver2,里面编写嵌套类evaluator实现UDAF的逻辑
• 实现resolver
  • resolver通常继承org.apache.hadoop.hive.ql.udf.GenericUDAFResolver2，但是更建议继承AbstractGenericUDAFResolver，隔离将来hive接口的变化。GenericUDResolver和GenericUDResolver2接口的区别是，后面的允许evaluator实现可以访问更多的信息，例如DISTINCT限定符，通配符FUNCTION(*)。
• 实现evaluator
  • 所有evaluators必须继承抽象类org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator。子类必须实现它的一些抽象方法，实现UDAF的逻辑。
• Mode
  • 这个类比较重要，它表示了udaf在mapreduce的各个阶段，理解Mode的含义，就可以理解了hive的UDAF的运行流程
  • public static enum Mode{
    PARTIAL1，
    PARTIAL2，
    FINAL，
    COMPLETE
    };
  • PARTIAL1:这个是mapreduce的map阶段:从原始数据到部分数据聚合，将会调用iterate()和terminatePartial()
  • PARTIAL2:这个是mapreduce的map端的Combiner阶段，负责在map端合并map的数据；从部分数据聚合到部分数据聚合，将会调用merge()和terminatePartial()
  • FINAL:mapreduce的reduce阶段:从部分数据的聚合到完全聚合，将会调用merge()和terminate()
  • COMPLETE:如果出现了这个阶段，表示mapreduce只有map，没有reduce，所有map端就直接出结果了；从原始数据直接到完全聚合，将会调用iterate()和terminate()
• 永久函数
  • 如果希望在hive 中自定义一个函数，且能永久使用，则修改源码添加相应的函数类，然后在修改ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java类，添加相应的注册函数代码。registerUDF("parse_url",UDFParseUrl.class.false);
  • 写一个hql文件，hive -i 'file'
  • 新建hiverc文件
    • jar包放到安装目录下或者指定目录下
    • $HOME/.hiverc
    • 把初始化语句加载到文件中