使用python来操作hive(通过 pyhs2 和 HiveServer2)

HiveServer2为客户端在远程执行hive查询提供了接口，通过Thrift RPC来实现，还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2，实现查询和取回结果的操作。    

 pyhs2的项目托管在github之上，地址为https://github.com/BradRuderman/pyhs2

可通过以下方式来安装：

easy_install pyhs2

如果安装不成功，可以尝试先安装以下的组件：

yum install cyrus-sasl-plain

yum install cyrus-sasl-devel

以下为一段测试用的代码，pyhs2提供了基本的功能，查询输出的结果为list，做点每天的定时任务用这个来写脚本还是很方便的：

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# hive util with hive server2

"""

@author:knktc

@create:2014-04-08 16:55

"""

__author__ = 'knktc'

__version__ = '0.1'

import pyhs2

class HiveClient:

    def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN"):

        """

        create connection to hive server2

        """

        self.conn = pyhs2.connect(host=db_host,

                                  port=port,

                                  authMechanism=authMechanism,

                                  user=user,

                                  password=password,

                                  database=database,

                                  )

    def query(self, sql):

        """

        query

        """

        with self.conn.cursor() as cursor:

            cursor.execute(sql)

            return cursor.fetch()

    def close(self):

        """

        close connection

        """

        self.conn.close()

def main():

    """

    main process

    @rtype:

    @return:

    @note:

    """

    hive_client = HiveClient(db_host='hiveserver2.hadoop', port=10000, user='hdfs', password='mypass',

                             database='test_log', authMechanism='PLAIN')

    result = hive_client.query('select * from t_test limit 10')

    print result

    hive_client.close()

if __name__ == '__main__':

    main()