深入学习《Programing Hive》：Hive自定义函数之UDF

        为了满足用户的个性化需求，Hive被设计成了一个很开放的系统，很多内容都可以定制，主要包括：
                1)、文件格式；
                2)、内存中的数据格式，如Hadoop的Writable/Text；
                3)、用户提供的MapReduce脚本，不管使用何种语言都可以通过标准的stdin/stdout传输数据；
                4)、用户自定义函数。
        本节我们主要学习用户自定义函数。虽然Hive已经提供了很多内存的函数，但是还是不能，满足用户的需求，因此有提供了自定义函数供用户自己开发函数来满足自己的需求。之定义函数主要分三类：
                1)、UDF(User-Defined-Function)用户自定义函数，输入一个数据然后产生一个数据；
                2)、UDAF(User-Defined Aggregation Function)用户自定义聚合函数，多个输入数据然后产生一个输出参数；
                3)、UDTF(User-Defined Table-generating Function)用户自定义表生成函，数，输入一行数据生成N行数据。
  
        UDF
        现在我们开始学习如何来开发自己的UDF函数。假设我们现在有一个被保存在littlebigdata.txt文件中的数据集：

              edward capriolo,[email protected],2-12-1981,209.191.139.200,M,10
              bob,[email protected],10-10-2004,10.10.10.1,M,50
              sara connor,[email protected],4-5-1974,64.64.5.1,F,2
              ...
        

        接下来我们顶一个Hive加载这个数据集：

              hive> CREATE TABLE IF NOT EXISTS littlebigdata(
                  >   name        STRING COMMENT '姓名',
                  >   email       STRING COMMENT '邮箱',
                  >   birthday    STRING COMMENT '生日',
                  >   ip          STRING COMMENT 'ip',
                  >   gender      STRING COMMENT '性别',
                  >   anum        INT)
                  > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

              hive> LOAD DATA LOCAL INPATH '${env:HOME}/littlebigdata.txt'
                  > INTO TABLE littlebigdata;
        

        我们接下来会写一个自定义的UDF根据数据集中的生日计算对应星座，首先新类要继承 org.apache.hadoop.hive.ql.exec.UDF类，然而UDF类并不是一个抽象类，其中并没有用户自定义函数必须的evaluate()方法，子类必须实现一个或多个evaluate方法给Hive框架调用，这个evaluate方法正是所有实现类的逻辑部分所在，只有用户自己来写方法了：

          package org.apache.hadoop.hive.contrib.udf.example;

          import java.text.SimpleDateFormat;
          import java.util.Date;
          import org.apache.hadoop.hive.ql.exec.UDF;
          import org.apache.hadoop.hive.ql.exec.Description;
          
          @Description(name = "Zodiac",
             value = "FUNC_(date) - from the input data string " +
                     "or separate month and day arguments,return the sign of the Zodiac.",
             extended = "Example:\n >SELECT _FUNC_(date_string) FROM src;\n" + 
                        " > SELECT _FUNC_(month,day) FROM src;")
          public class ZodiacSignUDF extends UDF{
               private SimpleDateFormat df = null;
    
               /**
                * 在默认构造函数中初始化df
                */
               public ZodiacSignUDF(){
                   df = new SimpleDateFormat("MM-dd-yyyy");
               }
           
               /**
                * 由出生日期获取星座
                * @param birthday -Date
                * @return
                */
               public String evaluate(Date birthday){
                   return this.evaluate(birthday.getMonth() + 1,birthday.getDay());
               }

               /**
                * 由出生日期获取星座
                * @param birthday -String
                * @return
                */
               public String evaluate(Date birthday){
                   Date date = null;
                   try{
                      date = df.parse(birthday);
                   }catch(Excetion e){
                       //如果日期转换失败，就表明星座是未知的
                       return null;
                   }
                   return this.evaluate(date.getMonth() + 1,date.getDay());
               }
               
               /**
                * 由月份和出生日获取星座
                * @param month -int
                * @param day -int
                * @return
                */
               public String evaluate(Integer month,Integer day){
                   if(month == 1){
                      if(day < 20){
                         return "Capricorn";
                      }else{
                         return "Aquarius";
                      }
                   }else if(month == 2){
                      if(day < 19){
                         return "Aquarius";
                      }else{
                         return "Pisces";
                      }
                   }
                   /** ... other months here */
                   return null;
               }
          }
        

        在HiveQL的执行中，没处理一行都会调用一次ZodiacSignUDF类的实例，然后将每一行的出生一起传给evaluate()方法并得到对应的星座返回给Hive。

        那么接下来的问题是如何使用这个自定义函数呢？
        首先需要用户便以这个类并将之打成一个jar包，然后将jar文件添加到Hive的classpath并使用CREATE FUNCTION语句将之定义为一个Hive能使用的方法：

              hive> ADD JAR /full/path/to/zodiac.jar;
              hive> CREATE TEMPORARY FUNCTION zodiac 
                    AS 'org.apache.hadoop.hive.contrib.udf.exampl.ZodiacSignUDF';           
        

        当然，上面的函数添加方法只能在Hive session会话期间使用，session结束后如还想使用该函数，那就必须再将上面的两部操作做一遍。如果这个函数是经常使用的，那么这么做就太繁琐了，这种情况下可以把上面的两操作语句添加到$HOME/.hiverc文件中作为全局函数，就想使用hive的内置行是一样：

              hive> SELECT name,birthday,zodiac(birthday) FROM littlebigdata;
              edward capriolo 2-12-1981   Aquarius
              bob             10-10-2004  Libra
              sara            4-5-1974    Aries
        

        接着我们来看怎么删除一个·自定义函数：

              hive> DROP TEMPORARY FUNCTION IF EXISTS zodiac;