基于python impyla的hive客户端
转载请注明出处：http://blog.csdn.net/gamer_gyt
博主微博：http://weibo.com/234654758
Github：https://github.com/thinkgamer
写在前边的话
在hive部署的时候我们谈过hive的三种访问方式
- CLI（shell 终端）
- HWI （Hive的web页面操作）
- thrift （启动hiveserver2服务，基于thrift建立hive的操作）
第三种thrift方式的，网友们进行了封装，目前有三个广负盛名的python backage
- pyhive
- impyla（小主采用该backage）
- pyhs2
小主本地环境介绍
- CentOS6.5 /64 位
- python 2.7
这里小主做的web可视化界面比较菜看两张截图吧（这个是HIW项目的一部分 github-HIW）
部署
impyla必须的依赖包括：
- six
- bit_array
- thriftpy(python2.x则是thrift)
为了支持Hive还需要以下两个包：
- sasl
- thrift_sasl
先安装依赖
pip install thrift_sasl
pip install sasl
报错：
gcc: error trying to exec 'cc1plus': execvp: No such file or directory
error: command 'gcc' failed with exit status 1
解决办法：
缺少g++文件
yum install gcc-c++
(centos中g++叫gcc-c++,如果直接安装g++会出现No package g++ available. Error: Nothing to do )
又报错：
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 73: ordinal not i
解决办法：
在python安装目录的site-packages目录下，创建sitecustomize.py，python会自动加载，添加
import sys
sys.setdefaultencoding('utf-8')
如果涉及到中文只需将utf-8修改为gb2312 即可
又报错：
sasl/saslwrapper.h:22:23: error: sasl/sasl.h: No such file or directory
解决办法
centos解决办法：
yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64
ubuntu/deepin（小主自己的是deepin）
sudo apt-get install libsasl2-dev
然后执行
pip install thrift_sasl
pip install sasl
OK
pip命令安装：
pip install impyla
报错：
bitarray/_bitarray.c:9:20: fatal error: Python.h: 没有那个文件或目录
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
解决办法：
由于小主的是deepin 15.2 64位，python版本为2.7，其对应的解决办法是
sudo apt-get install python-dev
python3.X版本对应的命令为
sudo apt-get install python3-dev
然后在执行安装命令即可
pip install impyla
一个小Demo
注意执行该程序之前，必须启动hiveserver2服务
from impala.dbapi import connect
#需要注意的是这里的auth_mechanism必须有，但database不必须
conn = connect(host='127.0.0.1', port=10000, database='default', auth_mechanism='PLAIN')
cur = conn.cursor()
cur.execute('SHOW DATABASES')
print(cur.fetchall())
cur.execute('SHOW Tables')
print(cur.fetchall())
关于auth_mechanism解释：
auth_mechanism的值取决于hive-site.xml里边的一个配置
hive.server2.authentication
NOSASL
auth_mechanism的值默认是NONE，还可以是“NOSASL”，“PLAIN”，“KERBEROS”，“LDAP”
对hql进行连续处理
很简单的应用场景便是我们要处理的N句SQL的连续体，而不是单句的SQL语句，我这里进行的处理办法是切分，使用python的split，然后再进行单句执行
# 连接hive
def conn():
con = connect(host="192.168.132.27",port=10000,auth_mechanism="PLAIN")
cur = con.cursor()
return cur
# 执行HQL语句
def run_hql(sql):
sql_list = sql[:-1].split(";")
cur=conn()
for s in sql_list:
cur.execute(s)
result=cur.fetchall()
return result
if __name__=="__main__":
sql="show databases;use default;show tables;"
print run_hql(sql)
运行结果也是没有问题的
[root@master1 HIW]# python hive/phive.py
[('test',)]
后续若有可能的话，我会更新一些impyla的其他一些用法，因为网上关于impyla的资料很少，除了github项目地址之外很难再找到其他的，所以 如果你有好的文章或者教程的话，欢迎留言