基于HiveSever2的Azkaban插件的实现思路

---

title: 基于HiveSever2的Azkaban插件的实现思路
date: 2017-02-05 13:45:03
tags: [Azkaban插件,Hive,HiveServer2]
categories: "Azkaban"

---

关键字：HiveSever2、Azkaban插件

最近研究了下HiveServer2有关的内容，并且在Azkaban的插件模块实现了基于HiveServer2的插件类型作业。现在将自己一些经验总结如下。

HiveServer & HiveSever2

先来介绍HiveServer，原名是Thrift server。HiveServer 是一个服务端，允许远程客户端通过请求提交hive作业或者获取作业结果。HiveSever是基于Thrift框架实现的，但后来的HiveServer2也是基于Thrift框架，所以命名上从Thrift Server更名为HiveServer.
  HiveServer2要比HiveSever更加优秀，支持高并发和安全认证。HiveServer已经不被推荐使用。下边是Hive官网原文描述：

HiveServer is an optional service that allows a remote client to submit requests to Hive, using a variety of programming languages, and retrieve results. HiveServer is built on Apache ThriftTM (http://thrift.apache.org/), therefore it is sometimes called the Thrift server although this can lead to confusion because a newer service named HiveServer2 is also built on Thrift. Since the introduction of HiveServer2, HiveServer has also been called HiveServer1. \

HiveServer cannot handle concurrent requests from more than one client. This is actually a limitation imposed by the Thrift interface that HiveServer exports, and can't be resolved by modifying the HiveServer code. \

HiveServer2 is a rewrite of HiveServer that addresses these problems, starting with Hive 0.11.0. Use of HiveServer2 is recommended.

Azkaban插件实现原理

Azkaban的hadoop相关作业插件类都是继承自JavaProcessJob类，JavaProcessJob类本质上是一个独立的Java进程，进程内调用Client客户端执行hadoop相关作业。示意图如下： \

plugin.png

所有的插件类型都要实现run方法和cancel方法。

基于HiveServer2 的插件实现

这里看下关于hiveServer的一张老图：

hiveServer.png

仔细研究Azkaban的Hive插件的代码，可以知道，Azkaban是通过Hive Client来提交Hive作业的，也就是图中的CLI方式。这种方式的问题还是挺多的，由于直接绕过了HiveServer2，所以不支持高并发和安全认证，存在很多隐患。
  所以有必要开发基于HiveServer2的Azkaban插件。
  Azakaban的实现已经在文章《Azkaban Learning》中有简单介绍，其实可以简单模仿HadoopJava类型作业的插件实现，这里不作过多的介绍。

HiveServer2提交作业其实是通过JDBC方式来提交的，那我们来看下HiveServer2都提供了哪些api：

1. 同步提交HQL
   ThriftCLIServiceClient.executeStatement(SessionHandle sessionHandle, String statement, Map confOverlay) throws HiveSQLException

2. 异步提交HQL
   ThriftCLIServiceClient.executeStatementAsync(SessionHandle sessionHandle, String statement, Map confOverlay) throws HiveSQLException

3. 请求日志或者结果
   ThriftCLIServiceClient.fetchResults(OperationHandle opHandle, FetchOrientation orientation, long maxRows, FetchType fetchType) throws HiveSQLException
   (FetchType分为FetchType.LOG 和 FetchType.QUERY_OUTPUT，分别对应日志和结果)

4. 请求执行状态
   ThriftCLIServiceClient.getOperationStatus(OperationHandle opHandle) throws HiveSQLException
   (状态包括：INITIALIZED RUNNING FINISHED CANCELED CLOSED ERROR UNKNOWN PENDING)

5. 取消执行
   ThriftCLIServiceClient.cancelOperation(OperationHandle opHandle) throws HiveSQLException

6. 关闭句柄
   ThriftCLIServiceClient.closeOperation(OperationHandle opHandle) throws HiveSQLException
   每执行完一条sql都要关闭句柄

通过这些丰富的api其实已经完全足够实现这个插件。具体的实现代码不便于公开，欢迎私聊咨询。

参考资料：

1. https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Overview
2. https://hive.apache.org/
3. https://github.com/azkaban/azkaban-plugins

=============2017.06.14 补充 ====================
上边这套hiveserver2的api已经过时了，太底层了，现在有一套跟JDBC高度类似的api，底层其实也是调用上边的接口。