windows环境下，python+impyla+hive2

写在前面：我的需求是使用python连接hive数据库，读取数据库中的数据。首先，我自己搭建了hadoop集群，包含三个节点，安装了hive数据库，导入了一些数据。在这过程中，遇到了很多错误，查找了很多文档，现在简单整理一下思路方便以后查找。

1.环境说明：

win10

python编译器：PyCharm

集群环境：

      CentOS 6.7

      hadoop 2.7.3

      hive 2.3.2

2.大致步骤

总体来说分为两个步骤。（1）配置hiveserver2（2）基于implay连接hive数据库，读取数据

2.1配置hiveserver2

（1）修改hdfs-site.xml、core-site.xml、hive-site.xml。分别在这三个配置文件中添加如下内容：

hdfs-site.xml:表示启用 webhdfs

     dfs.webhdfs.enabled
     true

core-site.xml:

        hadoop.proxyuser.root.hosts
        *
 

        hadoop.proxyuser.root.groups
    *


        hadoop.proxyuser.hadoop.hosts
        *


        hadoop.proxyuser.hadoop.groups
        *

hadoop.proxyuser.hadoop.hosts 配置成*的意义，表示任意节点使用 hadoop 集群的代理用户hadoop 都能访问 hdfs 集群，hadoop.proxyuser.hadoop.groups 表示代理用户的组所属   

( 如果代理用户的组所属root   则修改为：hadoop.proxyuser.root.hosts  

                                                                  hadoop.proxyuser.root.groups )

注意：在一个节点上修改好以后，要发送给集群中的其他所有节点。

hive-site.xml

hive.server2.authentication
NONE
**


hive.server2.thrift.port
10000


hive.server2.thrift.bind.host
192.168.27.101  --自己的IP地址

（2）在安装hive的节点上启动hiverserver2（hive版本不同，启动命令不一样。）

（3）复制一个窗口，打开beeline，连接hive2。出现红线所示即为连接成功。

访问web页面如图所示：

beeline连接hiveservre2时遇到了如下错误：

解决办法：文件权限问题。原文链接https://www.cnblogs.com/zhangeamon/p/5787365.html

2.2 基于implay连接hive数据库

python连接数据库有两种方式：（1）基于pyhive（2）基于implay

一开始使用的是基于pyhive，由于种种原因没有成功。所以使用了基于implay

（1）导包：
 

1、pip install six

2、pip install bit_array

3、pip install thriftpy 
   thrift (on Python 2.x) or thriftpy (on Python 3.x)
4、pip install thrift_sasl==0.2.1

5、pip install pure-sasl

7、pip install impyla

8、pip install pandas

（2）代码如下：

from impala.dbapi import connect
from impala.util import as_pandas

conn = connect(host='192.168.27.101', port=10000, auth_mechanism='PLAIN', user='root', password='123456')
cursor = conn.cursor()
cursor.execute('show databases')
print(as_pandas(cursor))
cursor.close()
conn.close()

（3）运行结果：

参考文档：

https://blog.csdn.net/qq_24908345/article/details/80595948

https://blog.csdn.net/xuyanhuiwelcome/article/details/69946205

https://blog.csdn.net/Xiblade/article/details/82318294