大数据学习笔记——Hive完整部署流程

Hive详细部署教程

此篇博客承接上篇Hadoop和Zookeeper的部署教程，将会详细地对HIve的部署做一个整理，Hive相当于是封装在HDFS和Mapreduce上的一套sql引擎，只需要安装在某个集群的主节点上即可，同时需要注意安装Hive前请确保虚拟机主节点上已经安装好了mysql，那么，现在正式开始吧！

1. 安装准备

首先我们准备好Hive的安装包，这里用到的Hive版本是2.1.0

2. 详细安装步骤

安装前，先将虚拟机做一个快照以备不时之需

2.1 解压缩并修改环境变量

1. 使用远程传输软件将安装包放到/home/centos/downloads下

2. 将此安装包解压缩至/soft目录下

cd /home/centos/downloads

tar -xzvf apache-hive-2.1.0-bin.tar.gz -C /soft

3. 建立符号链接

cd /soft

ln -s apache-hive-2.1.0-bin hive

4. 配置并生效环境变量

nano /etc/profile

末尾处添加，添加后保存退出

#hive环境变量
export HIVE_HOME=/soft/hive
export PATH=$PATH:$HIVE_HOME/bin

生效环境变量

source /etc/profile

5. 修改配置文件/soft/hive/conf

1) cd /soft/hive/conf

2)将所有template文件重命名

　　rename ".template" "" *.template

3)拷贝hive-default.xml为hive-site.xml

　　cp hive-default.xml hive-site.xml

4)正式配置文件

　　修改hive-site.xml文件

说明：由于配置hive需要使用到mysql的数据库存放元数据，因此需要配置mysql四大参数，即驱动，URL，username以及password

需要修改的关键配置如下：

<property>
    <name>javax.jdo.option.ConnectionDriverNamename>
    <value>com.mysql.jdbc.Drivervalue>
    <description>Driver class name for a JDBC metastoredescription>
property>
<property>
    <name>javax.jdo.option.ConnectionUserNamename>
    <value>rootvalue>
    <description>Username to use against metastore databasedescription>
property>
<property>
    <name>javax.jdo.option.ConnectionPasswordname>
    <value>rootvalue>
    <description>password to use against metastore databasedescription>
property>
<property>
    <name>javax.jdo.option.ConnectionURLname>
    <value>jdbc:mysql://s101:3306/hive?createDatabaseIfNotExist=truevalue>
    <description>
        JDBC connect string for a JDBC metastore.
        To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
        For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    description>
property>

5)修改剩余配置：修改所有的临时目录为/home/centos/hive，修改所有的用户名为root用户

　　sed -i 's@${system:java.io.tmpdir}@/home/centos/hive@g' hive-site.xml

　　sed -i 's@${system:user.name}@root@g' hive-site.xml

6. 使用远程传输软件将mysql-connector-java-5.1.44.jar文件放在hive的lib下(/soft/hive/lib)

7. 进入mysql并授权

mysql -uroot -proot

mysql> grant all PRIVILEGES on *.* to root@'s101'  identified by 'root';

8. 初始化元数据：schematool --initSchema --dbType mysql

9. 启动Hive客户端：hive，启动成功，说明配置完成！