cdh5.7.0伪分布式集群之hive安装

基本环境及软件：

软件版本	软件包
centos-6.4
JDK-1.8	jdk-8u191-linux-x64.tar.gz
hadoop-2.6.0	hadoop-2.6.0-cdh5.7.0.tar.gz
hive-1.1.0	hive-1.1.0-cdh5.7.0.tar.gz

软件安装包官网下载地址 ：http://archive-primary.cloudera.com/cdh5/cdh/5/

安装mysql

1.使用yum安装mysql server。

# yum install -y mysql-server

2.启动mysql 

# service mysqld start

3.设置开机启动

# chkconfig mysqld on

3.进入mysql  :  

# mysql

4.在mysql上创建hive元数据库，并对hive进行授权

mysql> create database if not exists hive_metadata;
mysql> grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive';
mysql> grant all privileges on hive_metadata.* to 'hive'@'localhost' identified by 'hive';
mysql> grant all privileges on hive_metadata.* to 'hive'@'bigdata' identified by 'hive';

5.刷新，即时生效

mysql> flush privileges;

6.简单测试，

mysql>use hive_metadata;

安装hive

注意：安装之前需要先安装Hadoop，请参考另一篇文章：https://blog.csdn.net/weixin_39689084/article/details/84548507

1.将下载的hive安装包上传到虚拟机的/usr/local/app目录下

2.解压缩hive安装包：

# tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz

3.重命名hive目录：

# mv hive-1.1.0-cdh5.7.0 hive-1.1.0

4.配置hive相关的环境变量

# vim ~/.bashrc
#set hive environment
export HIVE_HOME=/usr/local/app/hive-1.1.0
export PATH=$PATH:$HIVE_HOME/bin
# source ~/.bashrc

5.使用yum安装mysql connector

# yum install -y mysql-connector-java

6.将mysql connector拷贝到hive的lib包中

# cp /usr/share/java/mysql-connector-java-5.1.17.jar /usr/local/app/hive-1.1.0/lib

 7.配置 hive-site.xml ,在conf目录下创建hive-site.xml

# vim hive-site.xml

    
      javax.jdo.option.ConnectionURL
      jdbc:mysql://bigdata:3306/hive_metadata?createDatabaseIfNotExist=true
    
    
      javax.jdo.option.ConnectionDriverName
      com.mysql.jdbc.Driver
    
    
      javax.jdo.option.ConnectionUserName
      hive
    
    
      javax.jdo.option.ConnectionPassword
      hive
    
    
      hive.metastore.warehouse.dir
      /user/hive/warehouse
    

8.配置hive-env.sh

# cp hive-env.sh.template hive-env.sh

# vim hive-env.sh
export JAVA_HOME=/usr/local/app/jdk1.8.0_191
export HIVE_HOME=/usr/local/app/hive-1.1.0
export HADOOP_HOME=/usr/local/app/hadoop-2.6.0

 启动hive 

# hive

 hive的一些简单操作：在hive上创建员工和部门两张表

1.创建表

一、员工表
create table emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
row format delimited fields terminated by '\t';

二、部门表
create table dept(
deptno int,
dname string,
loc string
)
row format delimited fields terminated by '\t';

2，加载数据 

a.准备数据，在/usr/local/下创建data目录，存放测试数据

# cd /usr/local/

# mkdir data

# cd data/

# vim emp.txt

7369    SMITH    CLERK    7902    1980-12-17    800.0    0.0    20
7499    ALLEN    SALESMAN    7698    1981-02-20    1600.0    300.0    30
7521    WARD    SALESMAN    7698    1981-02-22    1250.0    500.0    30
7566    JONES    MANAGER    7839    1981-04-02    2975.0    0.0    20
7654    MARTIN    SALESMAN    7698    1981-09-28    1250.0    1400.0    30
7698    BLAKE    MANAGER    7839    1981-05-01    2850.0    0.0    30
7782    CLARK    MANAGER    7839    1981-06-09    2450.0    0.0    10
7788    SCOTT    ANALYST    7566    1987-07-13    3000.0    0.0    20
7839    KING    PRESIDENT    NULL    1981-11-07    5000.0    0.0    10
7844    TURNER    SALESMAN    7698    1981-09-08    1500.0    0.0    30
7876    ADAMS    CLERK    7788    1987-07-13    1100.0    0.0    20
7900    JAMES    CLERK    7698    1981-12-03    950.0    0.0    30
7902    FORD    ANALYST    7566    1981-12-03    3000.0    0.0    20
7934    MILLER    CLERK    7782    1982-01-23    1300.0    0.0    10

# vim dept.txt

10    ACCOUNTING    NEWYORK
20    RESEARCH    DALLAS
30    SALES    CHICAGO
40    OPERATIONS    BOSTON

b.加载数据

hive> load data local inpath '/usr/local/data/emp.txt' into table emp;

hive> load data local inpath '/usr/local/data/dept.txt' into table dept; 

c.查询数据

hive> select * from emp; 

hive> select * from dept; 

 

到此hive安装完成，有错误之处，请多多指教 !