Hive 环境搭建

Hive搭建模式

远程服务器模式

版本说明:hadoop2.6.5
解释远程?谁1远程谁2?谁1是metastore,谁2是Mysql Server。
用于非Java客户端访问元数据库Mysql:在hive服务器端启动
MetaStoreServer,hive client客户端利用Thrift协议通过MetaStoreServer访问元数据库,模型示意图如下:
Hive 环境搭建_第1张图片
我这里以node01作为元数据,node02作为hive服务端,node03作为hive客户端。

step1 node01:MysqlServer

以node01作为Mysql Server节点。先安装好 mysql ,参考 https://blog.csdn.net/foreverlove_ty/article/details/86419254

step2 node02:MetaStore Server ,连接 Mysql

源码包: apache-hive-1.2.1-bin.tar.gz
驱动包 : mysql-connector-java-5.1.32-bin.jar
解压 源码包,得到 bin ,lib ,conf三个重要文件
配置hive
将驱动包拷贝到 apache-hive-1.2.1-bin/lib/目录下
添加环境变量

export HIVE_HOME=/opt/software/hive/apache-hive-1.2.1-bin

修改hive的配置文件

#cp hive-default.xml.template hive-site.xml

然后修改 hive-site.xml文件
配置文件中添加 driver ,url,host ,password 属性,其他属性删除
meteStore配置官网
https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+Administration
可以找到 Remote Metastore Database的配置(这个网址藏得好深)
Hive 环境搭建_第2张图片



  hive.metastore.warehouse.dir
  /user/hive/warehouse


  javax.jdo.option.ConnectionURL
  jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true


  javax.jdo.option.ConnectionDriverName
  com.mysql.jdbc.Driver


  javax.jdo.option.ConnectionUserName
  root


  javax.jdo.option.ConnectionPassword
  123


其中 warehouse 是数据仓库;jdbc会创建一个hive的数据库

step3:node03:Hive Client

源码包: apache-hive-1.2.1-bin.tar.gz
此时驱动包不用拷贝到hive的lib目录下,因为不用直接连接mysql,
同step2 配置Hive环境变量,再得到一个hive-site.xml文件,再修改此配置文件如下

<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://node02:9083</value>
</property>
</configuration>

其中,配置客户端连接metastore即可,node02就是metastoreServer。

step4:启动hive

【注意】:hive依赖hadoop的底层服务,所以先启动zk,hdfs,yarn等服务。为了避免不必要的报错,这些都提前启动起来。至于hive如何与hdfs,yarn连接的,可以看到官网中有说明,hive通过defaultValue中的环境变量$HADOOP_HOME 自动找到了hadoop集群。
Hive 环境搭建_第3张图片
具体可以参考
https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

启动hive的服务端 node02
[root@node02 conf]hive --service metastore
启动hive的客户端 node03
[root@node03 bin]# ./hive

如果启动过程中有如下报错

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expecte

没有找到jline的包,查看到hive中有此包,但是版本较低,从hadoop目录中找到jline的包,且版本较高,所以用hadoop的包替换hive中的。参考 https://blog.csdn.net/shuxue051/article/details/44900271
一切OK了之后,即可使用hive了,就能出现下面

[root@node03 bin]# ./hive
Logging initialized using configuration in jar:file:/opt/software/hive/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive> 

创建表后,插入数据,可以使用hdfs看到warehouse如下
Hive 环境搭建_第4张图片

hiveserver2

启动hiveserver2命令,即可启动hive服务端,此方式用于生产环境,代替hive --service metastore
注:node02 作为hvie服务端,node03作为hive客户端
[root@node02 bin]# ./apache-hive-1.2.1-bin/bin/hiveserver2

[root@node03 bin]# ls
beeline  derby.log  ext  hive  hive-config.sh  hiveserver2  metastore_db  metatool  schematool  zookeeper.out
[root@node03 bin]# ./beeline 
Beeline version 1.2.1 by Apache Hive
beeline> !connect jdbc:hive2://node02:10000/default; root 123
Connecting to jdbc:hive2://node02:10000/default;
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node02:10000/default> show tables;

其中 !connect jdbc:hive2://node02:10000/default; root 123
的连接方式有多种,

你可能感兴趣的:(大数据,Hive)