大数据学习-Hive01-环境搭建

安装Zookeeper

• 前提已经安装JDK

• 解压Zookeeper

# tar -zxvf zookeeper-3.4.13.tar.gz

• 修改Zookeeper配置

# cp conf/zoo_sample.cfg conf/zoo.cfg

• 修改zookeeper的数据存放位置

# vi conf/zoo.cfg
dataDir=/root/zookeeper-3.4.13/zkData
# mkdir zkData

• 启动Zookeeper服务

# bin/zkServer.sh start

• 查看是否启动成功

[root@hadoop83 zookeeper-3.4.13]# jps
25962 QuorumPeerMain

• 进入Zookeeper客户端

# bin/zkCli.sh

• 退出Zookeeper客户端

[zk: localhost:2181(CONNECTED) 0] quit

• 停止Zookeeper客户端

# bin/zkServer.sh stop

Hive安装及配置

• 解压 apache-hive-1.2.1-bin.tar.gz 到当前目录

[root@hadoop83 ~]# tar -zxvf apache-hive-1.2.1-bin 

• 修改apache-hive-1.2.1-bin.tar.gz的名称为hive

[root@hadoop83 ~]# mv apache-hive-1.2.1-bin ./hive

• 修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

[root@hadoop83 hive]# mv conf/hive-env.sh.template conf/hive-env.sh

• 配置hive-env.sh文件

[root@hadoop83 hive]# vi conf/hive-env.sh 
HADOOP_HOME=/root/hadoop-2.7.2
export HIVE_CONF_DIR=/root/hive/conf

Hadoop集群配置

• 必须启动hdfs和yarn

[root@hadoop83 hadoop-2.7.2]# sbin/start-dfs.sh 
[root@hadoop83 hadoop-2.7.2]# sbin/start-yarn.sh 

• 在HDFS上修改/tmp和/user/hive/warehouse两个目录同组权限可写，启动Hive时自动生成，可以手动创建。

[root@hadoop83 conf]# hdfs dfs -mkdir -p /tmp
[root@hadoop83 conf]# hdfs dfs -mkdir -p /user/hive/warehouse
[root@hadoop83 conf]# hdfs dfs -chmod 777 /tmp
[root@hadoop83 conf]# hdfs dfs -chmod 777 /user/hive/warehouse

Hive元数据配置到MySql

MySql安装

1. 获取mysql5.6

docker pull mysql:5.6

2. 启动mysql，其中MYSQL_ROOT_PASSWORD=123456是设置root密码

docker run -p 3306:3306 --name mysql  -e MYSQL_ROOT_PASSWORD=root -d mysql:5.6

3. 查看是否启动成功

• 通过端口查看

netstat -luntp|grep 3306

• 通过登录查看，运行结束，我们便能看到已经登录成功

docker exec -it mysql bash
mysql -uroot -proot

Hive元数据配置到MySql

1. 驱动拷贝

[root@hadoop83 ~]# cp mysql-connector-java-5.1.6.jar hive/lib/

2. 配置Metastore到MySql
   在/opt/module/hive/conf目录下创建一个hive-site.xml,内容如下

<configuration>
    <property>
      <name>javax.jdo.option.ConnectionURLname>
      <value>jdbc:mysql://hadoop83:3306/metastore?createDatabaseIfNotExist=truevalue>
      <description>JDBC connect string for a JDBC metastoredescription>
    property>

    <property>
      <name>javax.jdo.option.ConnectionDriverNamename>
      <value>com.mysql.jdbc.Drivervalue>
      <description>Driver class name for a JDBC metastoredescription>
    property>

    <property>
      <name>javax.jdo.option.ConnectionUserNamename>
      <value>rootvalue>
      <description>username to use against metastore databasedescription>
    property>

    <property>
      <name>javax.jdo.option.ConnectionPasswordname>
      <value>rootvalue>
      <description>password to use against metastore databasedescription>
    property>
configuration>

3. 启动Hive，回到MySQL窗口查看数据库，显示增加了metastore数据库