Hadoop集群搭建（八：Hive的安装配置）

实验 目的 要求	目的： （1）掌握数据仓库工具Hive的安装和配置； 要求： 完成Hive工具的安装和配置； Hive工具能够正常启动运行； Hive控制台命令能够正常使用； 能够正常操作数据库、表、数据；
实 验 环 境	五台独立PC式虚拟机； 主机之间有有效的网络连接； 每台主机内存2G以上，磁盘50G； 所有主机上安装CentOS7-64位操作系统； 所有主机已完成静态网络地址、主机名、主机地址映射的配置； 已完成Hadoop平台的搭建； 已完成MySQL数据库平台的搭建；   软件版本：         选用Hive的2.1.1版本，软件包名apache-hive-2.1.1-bin.tar.gz；   依赖软件：         *Hive工具使用JDBC方式连接MySQL数据库，需要用到MySQL数据库连接工具软件，选用该软件的5.1.42版本，软件包名mysql-connector-java-5.1.42-bin.jar；

 

实验内容

步骤一：Hive工具安装配置

★ Hive安装过程的所有操作步骤都需要使用admin用户进行。

★本项步骤只在集群中Cluster-01主机上进行操作即可。

1、把相关软件包apache-hive-2.1.1-bin.tar.gz和mysql-connector-java-5.1.42-bin.jar上传到admin用户家目录的新建“setups”目录下；

2、创建用于存放Hive相关文件的目录，并进入该目录，创建Hive的本地临时文件目录“tmp”，并将软件包解压解包到“hive”目录下；

           命令：

                $mkdir ~/hive

                $cd ~/hive

                $mkdir tmp

                $tar -xzf ~/setups/apache-hive-2.1.1-bin.tar.gz

3、配置Hive相关的环境变量，给配置文件进行修改，并在文件末尾添加以下内容；

     命令：

          $vi ~/.bash_profile

     写入内容：

#hive environment

HIVE_HOME=/home/admin/hive/apache-hive-2.1.1-bin

PATH=$HIVE_HOME/bin:$PATH

export HIVE_HOME PATH

  

 

4、生效环境变量，并查看验证；

      命令：

           $source ~/.bash_profile

           $echo $HIVE_HOME

           $echo $PATH

 

5、进入Hive的配置文件目录，Hive的配置文件默认都被命名为了模板文件，需要对其进行拷贝重命名之后才能使用:

      命令：

           $ cp hive-env.sh.template hive-env.sh

           $ cp hive-log4j2.properties.template   hive-log4j2.properties

           $ cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

           $ cp hive-default.xml.template hive-site.xml

6、对配置文件进行修改，找到相关配置项并对其值进行修改；

6.1、找到配置项“HADOOP_HOME”，该项用于指定Hadoop所在的路径，将其值改为以下内容：

        HADOOP_HOME=/home/admin/hadoop/hadoop-2.7.3

6.2、找到配置项“HIVE_CONF_DIR”，该项用于指定Hive的配置文件所在的路径，将其值改为以下内容：

        export

        HIVE_CONF_DIR=/home/admin/hive/apache-hive-2.1.1-bin/conf

 

6.3、找到配置项“HIVE_AUX_JARS_PATH”，该项用于指定Hive的lib文件所在的路径，将其值改为以下内容：

export HIVE_AUX_JARS_PATH=/home/admin/hive/apache-hive-2.1.1-bin/lib

 

7、集群的启动；

★ 该项的所有操作步骤使用专门用于集群的用户admin进行。

★ 启动HBase集群之前首先确保Zookeeper集群已被开启状态。（实验5台），Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果家目录下执行启动报错，则需要进入zookeeper/bin目录执行启动命令。

★ 启动HBase集群之前首先确保Hadoop集群已被开启状态。 （实验5台）Hadoop只需要在主节点执行启动命令。

a) 在集群中所有主机上使用命令“zkServer.sh status”查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常。如果Zookeeper未启动，则在集群中所有主机上使用命令“zkServer.sh start”启动Zookeeper服务的脚本;

                

b) 在主节点，查看Java进程信息，若有名为“NameNode”、“ResourceManager”的两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManager”的两个进程，则表示Hadoop集群的数据节点启动成功, 如果不存在以上三个进程，则在主节点使用此命令,启动Hadoop集群。

主节点及备用主节点：

通信节点：

c) 确定Hadoop集群已启动状态，然后在主节点使用此命令,启动HBase集群, 在集群中所有主机上使用命令“jps”;

8、在HDFS中分别创建Hive的临时文件目录“tmp”，在HDFS中分别创建Hive的数据存储目录“warehouse”，在HDFS中分别创建Hive的日志文件目录“log”，添加三个目录的用户组写权限；

     命令：

          $ hadoop fs -mkdir -p /user/hive/tmp

          $ hadoop fs -mkdir -p /user/hive/warehouse

          $ hadoop fs -mkdir -p /user/hive/log

          $ hadoop fs -chmod 777 /user/hive/tmp

          $ hadoop fs -chmod 777 /user/hive/warehouse

          $ hadoop fs -chmod 777 /user/hive/log

9、对配置文件hive-site.xml进行修改

找到下列标签“”所标识的属性项名称所在位置，修改其标签“”所标识的属性值部分的内容：

hive.exec.scratchdir

/user/hive/tmp







hive.metastore.warehouse.dir

/user/hive/warehouse





hive.querylog.location

/user/hive/log

Location of Hive run time structured log file

10、在MySQL数据库SQL服务节点Cluster-04中创建一个数据库“hive”用于存放Hive的元数据，该数据库的用户名和密码均为“hive”，数据库名、用户名、密码均可以自行设定，但需要与Hive配置文件中的内容相对应，连接MySQL数据库；

      命令：

           $ mysql -hCluster-04 -uroot -pmysqlabc

在控制台执行以下命令进行数据库的创建：

CREATE DATABASE hive;（创建数据库hive）

USE hive;（切换到新创建的hive数据库）

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';（创建数据库用户hive）

GRANT ALL ON hive.* TO 'hive'@'%';（设置hive数据库的访问权限，hive用户拥有所有操作权限并支持远程访问）

FLUSH PRIVILEGES;（刷新数据库权限信息）

show databases;

quit;（退出MySQL数据库控制台）

11、添加MySQL连接的相关配置信息；

      命令：

           $ vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.xml

    找到下列标签“”所标识的属性项名称所在位置，修改其标签“”所标识的属性值部分的内容：

javax.jdo.option.ConnectionURL

jdbc:mysql://Cluster-04:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false





javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver





javax.jdo.option.ConnectionUserName

hive





javax.jdo.option.ConnectionPassword

hive

12、将MySQL的数据库连接工具包添加到Hive的“lib”目录下；

      命令：

 $ cp -v ~/setups/mysql-connector-java-5.1.42-bin.jar ~/hive/apache-hive-2.1.1-bin/lib

 

13、添加MySQL连接的相关配置信息；

      命令：

           $ vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.xml

在编辑器中使用快捷键“:”进入到编辑器的命令模式，也称为末行模式，然后使用命令“%s#${system:java.io.tmpdir}#/home/admin/hive/tmp#g”以及“%s#${system:user.name}#${user.name}#g”替换掉配置文件中的原有配置内容。

14、对Hive进行格式化；

      命令：

           $ schematool -initSchema -dbType mysql

步骤二：Hive工具启动和验证

★ Hive安装过程的所有操作步骤都需要使用admin用户进行。

★本项步骤只在集群中Cluster-01主机上进行操作即可。

 

1、使用命令“hive”启动Hive，启动成功后能够进入Hive的控制台。

2、在控制台中使用命令“show databases;”查看当前的数据库列表。

3、在控制台中使用命令“show functions;”查看Hive的功能函数。

4、在控制台中使用命令“desc function sum;”或“desc function extended sum;”查看Hive的功能函数的详细信息。

5、在控制台中使用命令“quit;”或“exit;”退出Hive的控制台。

 

出现的问题与解决方案

错误1、启动hive ： ls: cannot access/home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such fileor directory问题

sxc@master ~]$ hivels: cannot access /software/spark/spark-2.2.0-bin-hadoop2.7/lib/spark-assembly-*.jar: No such file or directory17/11/27 13:12:56 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not existLogging initialized using configuration in jar:file:/software/hive/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties

原因：spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。

 

解决方法：

打开hive的安装目录下的bin目录，找到hive文件

找到如下的位置

# add Spark assembly jar to the classpath

    if [[ -n "$SPARK_HOME" ]]

    then

      sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`

      CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"

    fi

原因：

spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。

解决办法：把红色部分改为如下的样子就可以了

  # add Spark assembly jar to the classpath

    if [[ -n "$SPARK_HOME" ]]

    then

       sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`

     CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"

    fi

  知识点总结

HIVE和HBASE区别

1. 两者分别是什么？  

 Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。

 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来（列不要求schema定义）。例如，“message”列簇可能包含：“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施，可以利用通用的设备进行水平的扩展。

2. 两者的特点：

  Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的，同时，它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间，因为它会默认遍历表中所有的数据。虽然有这样的缺点，一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询，这些数据集存储在不同的文件夹内，查询的时候只遍历指定文件夹（分区）中的数据。这种机制可以用来，例如，只处理在某一个时间范围内的文件，只要这些文件名中包括了时间格式。

 HBase通过存储key/value来工作。它支持四种主要的操作：增加或者更新行，查看一个范围内的cell，获取指定的行，删除指定的行、列或者是列的版本。版本信息用来获取历史数据（每一行的历史数据可以被删除，然后通过Hbase compactions就可以释放出空间）。虽然HBase包括表格，但是schema仅仅被表格和列簇所要求，列不需要schema。Hbase的表格包括增加/计数功能。

3. 限制

  Hive目前不支持更新操作。另外，由于hive在hadoop上运行批量操作，它需要花费很长的时间，通常是几分钟到几个小时才可以获取到查询的结果。Hive必须提供预先定义好的schema将文件和目录映射到列，并且Hive与ACID不兼容。

  HBase查询是通过特定的语言来编写的，这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现，但这是以必须提供schema为代价的。另外，Hbase也并不是兼容所有的ACID特性，虽然它支持某些特性。最后但不是最重要的--为了运行Hbase，Zookeeper是必须的，zookeeper是一个用来进行分布式协调的服务，这些服务包括配置服务，维护元信息和命名空间服务。

4. 应用场景

  Hive适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。

  Hbase非常适合用来进行大数据的实时查询。Facebook用Hbase进行消息和实时的分析。它也可以用来统计Facebook的连接数。

5. 总结

  Hive和Hbase是两种基于Hadoop的不同技术--Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。

Hive环境安装之浏览器访问配置

1、下载hive-2.1.1-src.tar.gz

然后进入目录${HIVE_SRC_HOME}/hwi/web，执行打包命令:

#jar -cvf hive-hwi-1.2.2.war *

2、得到hive-hwi-1.2.2.war文件，复制到hive下的lib目录中；

3、修改hive的配置文件hive-site.xml；

4、启动Hive的web；

       命令：$hive –service hwi

 

5、通过web方式管理Hive；