Hive环境搭建

基于三节点的Hadoop集群搭建Hive

安装中前的准备
  1. 先要搭建好hadoop集群
  2. 安装中用到的软件:
  • hive-1.1.0-cdh5.14.2.tar.gz ,下载地址
  • MySQL5.7
安装MySQL

hive的元数据Metastore默认存储在自带的derby数据库中,这里使用MySQL存储这些元数据信息,所以在安装hive之前,先安装MySQL。hive只用在一台节点上安装,所以MySQL也只需在一台节点上安装,这里我们选择在node01上安装。

  1. 下载并安装MySQL官方的 Yum Repository
cd /kkb/soft
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
  1. MySQL数据库设置
  • 启动MySQL
sudo systemctl start  mysqld.service
sudo systemctl status mysqld.service
Hive环境搭建_第1张图片
status

此时MySQL已经开始正常运行。

  • 修改密码
    root的默认密码是放在/var/log/mysqld.log文件中,首先通过以下语句查看初始密码:
sudo grep "password" /var/log/mysqld.log
password

然后通过找到的初始密码,登录进数据库:

mysql -uroot -p

这个时候我们修改一下MySQL的root用户的初始密码,因为MySQL5.7对密码的设定要求复杂度必须达到要求,否则密码会设置失败,通过以下两行代码,关闭这种密码设定策略:

set global validate_password_policy=0;
set global validate_password_length=1;

这个时候就可以使用简单密码了,我们把root的密码设置为1234。

ALTER USER 'root'@'localhost' IDENTIFIED BY '1234'

然后配置root用户的访问权限:

grant all on *.* to root@'%' identified by '1234';

至此,MySQL的初步安装就完成了。

安装hive
  1. 上传hive安装包,进行解压
    mac命令行中执行:
scp hive-1.1.0-cdh5.14.2.tar.gz hadoop@node01:/kkb/soft
ssh hadoop@node01
cd /kkb/soft
tar -xzvf hive-1.1.0-cdh5.14.2.tar.gz -C /kkb/install
  1. 修改配置文件
  • 修改环境变量
sudo vim /etc/profile
# 修改为:
export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
# 然后修改PATH,增加
$HIVE_HOME/bin
# 保存,使立刻生效
source /etc/profile
  • 配置hive-env.sh
cd /kkb/install/hive-1.1.0-cdh5.14.2/conf/
mv  hive-env.sh.template hive-env.sh
vim hive-env.sh
# 修改内容为:
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2/       #配置HADOOP_HOME路径
export HIVE_CONF_DIR=/kkb/install/hive-1.1.0-cdh5.14.2/conf   #配置HIVE_CONF_DIR路径
  • 配置hive-site.xml
    修改hive-site.xml文件,内容改为:


        
                javax.jdo.option.ConnectionURL
                # MySQL所在服务器地址要对,我们装在node01上
                jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true&characterEncoding=latin1&useSSL=false
        

        
                javax.jdo.option.ConnectionDriverName
                com.mysql.jdbc.Driver
        
        
                javax.jdo.option.ConnectionUserName
                root
        
        
                # 这个密码为我们上边改的root的密码
                javax.jdo.option.ConnectionPassword
                1234
        
        
                hive.cli.print.current.db
                true
        
        
                hive.cli.print.header
            true
        
    
                hive.server2.thrift.bind.host
                node01
        

  • 修改hive的日志配置文件路径
    执行以下命令,定义hive的日志文件存放路径
mkdir -p /kkb/install/hive-1.1.0-cdh5.14.2/logs/
cd /kkb/install/hive-1.1.0-cdh5.14.2/conf/
mv hive-log4j.properties.template hive-log4j.properties
vim hive-log4j.properties

#更改以下内容,设置我们的日志文件存放的路径
hive.log.dir=/kkb/install/hive-1.1.0-cdh5.14.2/logs/
  1. 将mysql的驱动包上传到hive的lib目录下
scp mysql-connector-java-5.1.38.jar hadoop@node01:/kkb/install/hive-1.1.0-cdh5.14.2/lib
hive的交互方式

注意:要先启动Hadoop集群和MySQL

  1. Hive交互shell
cd /kkb/install/hive-1.1.0-cdh5.14.2
hive
  1. Hive JDBC服务
  • 启动hiveserver2服务
# 前台启动
hive --service hiveserver2
# 后台启动
nohup hive --service hiveserver2  &
  • beeline连接hiveserver2
    重新开启一个会话窗口,然后使用beeline连接hive。
beeline
# 然后在beeline界面执行:
!connect jdbc:hive2://node01:10000
Hive环境搭建_第2张图片
beeline

命令行要求输入用户名和密码,直接回车即可。至此,hive就安装成功。

你可能感兴趣的:(Hive环境搭建)