Linux离线安装pyhive使用 python连接hive

Linux离线安装pyhive使用 python连接hive

python依赖包
sasl
thrift
thrift-sasl
PyHive

到https://pypi.org/project/下载对应的包,使用命令 tar zvxf 解压,whl后缀的可以直接安装,安装sasl包时会遇到问题sasl.h文件找不到,需要安装Linux系统依赖包

linux依赖包
gcc-c++  (这个一般系统已经安装好了)
cyrus-sasl
cyrus-sasl-devel
python-devel

可以到https://pkgs.org/或者http://www.rpmfind.net/linux/rpm2html/search.php搜索下载需要的rpm包,注意下载的包要和服务器的系统匹配,通过uname -a查看系统相关的信息,也可以使用rpm -q xx查看已经安装的包的名判断系统,比如xx.el7.x86_64.rpm表示centOS7,64位,下载完成后使用rpm -ivh xxx安装rpm包,如果报依赖包的错,可以使用命令rpm -ivh --nodeps xxx忽视依赖包安装。这些包都安装好后,就可以接着安装python依赖包,至此pyhive便安装完成了。

#pyhive 应用示例
from pyhive import hive
import pandas as pd
conn = hive.Connection(host='127.0.0.1',port='10000',auth='CUSTOM',username='xx',password='***')
sql = 'select * from table1 limit 10'
df = pd.read_sql(sql,conn)
conn.close()
df.head()

你可能感兴趣的:(工具使用,hive,python)