Spark项目实战-Hive安装

Hive官网地址：https://hive.apache.org/

cdh版Hive下载地址：http://archive.cloudera.com/cdh5/cdh/5/

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

一 下载

首先我们需要下载对应版本的tar.gz。

二 上传

使用WinSCP将刚刚下载的tar.gz上传到sparkproject1的/usr/local下。

三 解压

使用tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz命令解压，并使用mv命令将其重命名，然后删除tar.gz包。 

四 配置环境变量

vi /etc/profile，配置完之后，我们使用source命令生效配置文件。

五 安装MySQL

1、在sparkproject1上安装mysql，使用yum安装mysql server。

# yum安装MySQL服务
yum install -y mysql-server 
# 启动MySQL
service mysqld start
# 随机器启动
chkconfig mysqld on

2、使用yum安装mysql connector

yum install -y mysql-connector-java

3、将mysql connector拷贝到hive的lib包中

cp /usr/share/java/mysql-connector-java-5.1.17.jar /usr/local/hive/lib

4、使用mysql命令进入mysql环境，上创建hive元数据库，创建hive账号，并进行授权

create database if not exists hive_metadata;

grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive';

grant all privileges on hive_metadata.* to 'hive'@'localhost' identified by 'hive';
 
grant all privileges on hive_metadata.* to 'hive'@'sparkproject1' identified by 'hive';

flush privileges;

use hive_metadata;

六 配置hive-site.xml

在这里，我们主要是配置mysql的一些参数。（可能会有一些小伙伴找不到hive-site.xml文件在哪，hive没有直接提供这个文件，需要我们进入到hive_home/conf目录，将hive-default.xml.template修改为hive-site.xml）

七 配置hive-env.sh和hive-config.sh

mv hive-env.sh.template hive-env.sh

vi /usr/local/hive/bin/hive-config.sh
export JAVA_HOME=/usr/local/jdk1.8.0_181
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop

 八 验证Hive是否安装成功

1、首先我们在/usr/local目录创建测试文件users.txt

2、使用hive命令，进入hive命令行

3、创建users表， 并加载本地的users.txt到users表，使用select查询。

我们浏览器访问sparkproject1:8088，可以看到有一个应用程序在运行。