jupyter访问hive进行数据分析

I 写在前面

• 长文
  • 为针对华为平台进行数据分析做准备
• 需要经验
  • Anaconda配置经验
    • 需要请留言
  • hadoop、hive集群配置经验
  • python开发经验
• 实验内容
  • 基于jupyter针对hive集群进行数据分析
    • 查询结果便于分析、处理、存储、下载
• 实验材料
  • hadoop集群（hive依赖）（镜像）
  • hive集群（镜像）
  • anaconda2（linux版本）
  • pyhs2-0.6.0.tar.gz
  • sasl-0.2.1.tar.gz
  • thrift-0.11.0.tar.gz

II 集群搭建

• 1 开启宿主机ip路由转发功能

echo 1 > /proc/sys/net/ipv4/ip_forward

• 2 搭建镜像集群
  • Shell 操作命令

# 1 拉取现有集群镜像
docker pull limengjiao029/hive:v0.1

# 2 基于镜像创建容器实例
docker run --privileged -tid -p 8000:8000 -p 8088:8088 -p 8042:8042 -p 50070:50070 -p 8678:8678 -p10000:10000 limengjiao029/hive:v0.1
      
# 3 进入容器，替换容器 ID, 需要Docker基础
docker exec -ti containerID /bin/bash

# 4 启动 hadoop
/opt/modules/hadoop-2.7.7/sbin/start-all.sh

# 5 启动metastore服务
# 5.1 无日志启动
	# nohup hive --service metastore 2>&1 & 
nohup hive --service metastore >> ~/metastore.log 2>&1 &

# 6 启动hiveserver2服务，jdbc连接均需要
# 6.1 无日志启动
	# nohup hive --service hiveserver2 2>&1 &
# 6.2 查看hiveserver2 进程 
	# ps -aux| grep hiveserver2
# 6.3 杀死进程
	# kill -9 pid
# 6.4 验证是否有效
	# beeline
	# !connect jdbc:hive2://localhost:10000
	# show tables;
nohup hive --service hiveserver2 >> ~/hiveserver2.log 2>&1 &

# 7 安装anaconda2
bash Anaconda2-2019.03-Linux-x86_64.sh
	# 7.1 配置环境变量, 在/etc/profile文件中加入下列语句, 并source生效
	export PATH=/root/anaconda2/bin:$PATH
	source /etc/profile
	# 7.2 判断python是否anaconda2版本
	python -v
# 8 安装sasl
# 8.1 解压 sasl-0.2.1.tar.gz
	# tar -zxvf sasl-0.2.1.tar.gz
	# cd sasl-0.2.1
python setup.py install

# 9 安装thrift
# 9.1 解压 thrift-0.11.0.tar.gz
	# tar -zxvf thrift-0.11.0.tar.gz
	# cd thrift-0.11.0
python setup.py install

# 10 安装pyhs2
# 10.1 解压 pyhs2-0.6.0.tar.gz
	# tar -zxvf pyhs2-0.6.0.tar.gz
	# cd pyhs2-0.6.0
python setup.py install

# 11 配置jupyter_notebook_config.py
	# 11.1 密码生成命令
	# from notebook.auth import passwd
	# passwd()
c.NotebookApp.allow_remote_access = True
c.NotebookApp.allow_root = True
c.NotebookApp.ip = '*'
c.NotebookApp.notebook_dir = u'/home/jupyter_root_dir'
c.NotebookApp.open_browser = False
c.NotebookApp.password = u'sha1:4600e66850b0:aedd50f9cabd7102cbcb1c8ba38d4e2500e46f67'
c.NotebookApp.port = 8678

# 12 后台驻留启动jupyter notebook
nohup jupyter notebook --allow-root >> nohup.out 2>&1 &

- 运行效果
	- 192.168.232.128为虚拟机IP地址（容器运行时，已将8678端口映射到宿主机）

• 3 额外命令

# 查看文件行数据量
wc -l person.txt

# 清空文件
cat /dev/null > /data/target.log

# jdbc链接 hiveserver, 默认端口 10000
!connect jdbc:hive2://localhost:10000

III Jupyter访问远程Hive

• 示例代码
  • 须知道访问 hive 用户名、密码
  • jdbc 默认端口 10000，docker run 时已将端口映射到宿主机
  • hive 集群数据表等资源参考地址

import pyhs2
import pandas as pd
pd.set_option("display.max_rows",500)
pd.set_option("display.max_columns",200)
pd.set_option("display.max_colwidth",500)

conn= pyhs2.connect(host='localhost',port=10000,authMechanism="PLAIN",user='root',password='root',database='default')
cursor=conn.cursor()

sql = """
select * from person limit 30
"""
cursor.execute(sql)
results = cursor.fetchall()
result_df = pd.DataFrame(results, columns=['name','cert_code'])

• 查看hive表结构

conn= pyhs2.connect(host='localhost',port=10000,authMechanism="PLAIN",user='root',password='root',database='default')
cursor=conn.cursor()

sql = """
desc formatted person
"""
cursor.execute(sql)
data = cursor.fetchall()

tab_schema = pd.DataFrame(data,columns=['col_name','data_type','comment'])
tab_schema

IV 参考文章

• hive的启动和停止
• Docker容器学习梳理–容器间网络通信设置(Pipework和Open vSwitch)
• Docker的网络模式bridge、host、container other、overlay
• Python 操作 MySQL 数据库

VI 最后小结

• 实验耗费个人很长时间（至少3天），涉及技术面比较广
• 涉及到Hive访问原理，之前脑壳里还是有些混乱
  • 容器联网问题，耗时最多
  • thrift、sasl、pyhs2 安装失败
    • Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available