hive安装与配置
准备工作
- 下载jdk8 jdk安装配置略过
- 下载hadoop 略过
- 下载hive 下载对应的发行版本即可
无论是准备安装2.X版本，或者3.X版本的hive，均建议使用jdk8，hive的版本要与hadoop版本对应.官网上会有介绍,注意查看。
url: hive官网下载
安装与配置
解压tar包后,将hive-x-x重命名成hive,进行配置工作
环境变量
vim ~/.bash_profile
新增如下，目录请自行调整
# Hive
export HIVE_HOME=/usr/xxx/hive
export PATH=$PATH:$HIVE_HOME/bin
刷新环境变量
source ~/.bash_profile
hive配置
进入$HIVE_HOME/conf目录，从自带的.template文件中复制或者新建两个文件
- hive-env.sh
- hive-site.xml
hive-env.sh内容如下，路径自行调整
export HADOOP_HEAPSIZE=2048
export HADOOP_HOME=/usr/hive/hadoop
export HIVE_CONF_DIR=/usr/hive/conf
export HIVE_AUX_JARS_PATH=/usr/hive/lib
hive-site.xml内容如下，路径同
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
123456
javax.jdo.option.ConnectionURL
jdbc:mysql://127.0.0.1:3306/hive
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
hive.metastore.schema.verification
false
hive.metastore.warehouse.dir
/hive
hive.metastore.uris
thrift://127.0.0.1:9083
hive.server2.thrift.port
10000
hive.server2.thrift.bind.host
127.0.0.1
hive.server2.webui.host
127.0.0.1
hive.server2.webui.port
10002
hive.exec.dynamic.partition.mode
nonstrict
初始化元数据库
元数据库是用来记录hive分区等等信息的数据库，一般使用关系型数据库来存储，hive自带了derby，当然也可以使用mysql来弄
derby
$HIVE_HOME/bin/schematool -initSchema -dbType derby
自带的derby用起来很不可描述，迟早你还是会回归mysql的怀抱。
mysql
先把mysql的jar包弄到hive的lib目录. 懵懂小白不知道去哪找jar包?点我!
cp mysql-connector-java-5.1.38.jar /usr/hive/lib/
再登陆到mysql上,创建hive库
mysql -u root -h 192.168.1.1 -p
create database hive;
exit;
最后初始化mysql
$HIVE_HOME/bin/schematool -dbType mysql -initSchema
登陆到mysql上查看结果,如图:
hadoop配置
创建hive的写入目录
hdfs dfs -mkdir /hive
hdfs dfs -chmod 777 /hive
修改hadoop的core-site.xml,配置写入用户,新增内容如下
hadoop.proxyuser.zhangsheng.hosts
*
hadoop.proxyuser.zhangsheng.groups
*
将zhangsheng替换成你的用户名
hive日志配置
注意:hive2.x版本配置hive-log4j.properties文件，hive3.x版本配置hive-log4j2.properties文件
由于每个人习惯不同，所以此处仅贴出我个人修改部分以供参考
hive-log4j.properties
只修改了如下4个属性
hive.log.threshold=ALL
hive.root.logger=DEBUG,DRFA
hive.log.dir=/usr/logs/hive
hive.log.file=hive.log
hive-log4j2.properties
基本同上
property.hive.log.level = DEBUG
property.hive.log.dir = /usr/logs/hive
property.hive.log.file = hive.log
启动
先启动hadoop,然后命令行输出hive直接启动hive,启动成功后输出set;回车查看配置,如下:
开启远程访问
${HIVE_HOME}/bin/hive --service metastore >>/dev/null 2>&1 &
${HIVE_HOME}/bin/hive --service hiveserver2 >>/dev/null 2>&1 &
远程连接,端口位10000，可以使用datagrip或者其他支持hive的数据库工具，也可以使用beeline
jdbc:hive2://127.0.0.1:10000
如果展示datagrip访问
!22
webui访问http://127.0.0.1:10002/,第一次会很慢，稍微等待会
常见错误
Exception in thread "main" java.lang.NoSuchMethodError: 'void com.google.common.base.Preconditions.checkArgument(boolean, java.lang.String, java.lang.Object)'
hadoop中的guava包版本比hive的高
/Users/zhangsheng/cdh/hadoop/share/hadoop/yarn/csi/lib/guava-20.0.jar
/Users/zhangsheng/cdh/hive/lib/guava-19.0.jar
/Users/zhangsheng/cdh/spark/jars/guava-14.0.1.jar
删除hive的低版本包,复制hadoop的高版本包过来
class jdk.internal.loader.ClassLoaders$AppClassLoader cannot be cast to class java.net.URLClassLoader
安装jdk8,不要使用高版本