Hive的安装部署及测试

![Uploading hive6_786401.png . . .]
](http://upload-images.jianshu.io/upload_images/3068725-de9d189c6ac9218c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

启动Hadoop各个进程并测试

1. 启动各个进程

   
   
   

   hive2.png

2. 查看hdfs和resourcemanager的web管理界面

   
   
   

   hive3.png
   
   
   

   hive4.png
3. 向Hadoop上传文件进行测试

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -put /etc/hosts /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /test
Found 1 items
-rw-r--r-- 3 wulei supergroup 237 2016-10-22 17:22 /test/hosts

安装Hive

1. 解压Hive

[wulei@bigdata-00 softwares]$ tar zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/

2. 配置Hive。需要把conf目录下的模板配置文件hive-env.sh.template拷贝并重命名为hive-env.sh。并修改文件中的下面两行，指定hadoop的目录和加载配置文件的目录。

HADOOP_HOME=/opt/modules/hadoop-2.5.0
export HIVE_CONF_DIR=/opt/modules/hive-0.13.1/conf

3. 在hdfs上创建数据仓库目录和临时存储文件的目录，并且赋予写的权限

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /tmp
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /user/hive/warehouse
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -chmod g+w /tmp
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -chmod g+w /user/hive/warehouse

4. 进入交互式命令，并简单测试。

   
   
   

   hive5.png

安装Mysql并与Hive建立连接

由于hive默认的derby数据库不能多实例(不能多个客户端)，所以选择Mysql来存储Hive中的元数据。

1. yum安装mysql-server并启动进程

[wulei@bigdata-00 ~]$ yum install -y mysql-server
[wulei@bigdata-00 ~]$ sudo /etc/init.d/mysqld start
[wulei@bigdata-00 ~]$ /etc/init.d/mysqld status
mysqld (pid 26011) is running...

2. 设置mysql登陆密码

[wulei@bigdata-00 ~]$ mysqladmin -u root password '123456'

3. 进入mysql设置用户连接权限,最后重启服务。

[wulei@bigdata-00 ~]$ mysql -u root -p
Enter password:
mysql> use mysql;
mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
mysql> delete from user where user='root' and host'127.0.0.1';
....
mysql> flush privileges;

4. Hive配置文件修改
   需要在conf目录下手动创建hive-site.xml文件。

      javax.jdo.option.ConnectionURL
      jdbc:mysql://localhost:3306/metasotre?createDatabaseIfNotExist=true


      javax.jdo.option.ConnectionDriverName
      com.mysql.jdbc.Driver


      javax.jdo.option.ConnectionUserName
      root


      javax.jdo.option.ConnectionPassword
      123456

5. 拷贝mysql驱动包
   把mysql驱动jar包放到Hive安装目录的lib下

[wulei@bigdata-00 hive-0.13.1]$ cp /opt/softwares/mysql-connector-java-5.1.27-bin.jar /opt/modules/hive-0.13.1/lib/

6. 连接测试
   在成功建立连接后，进入mysql数据库，会发现多了一个metastore数据库，这个数据库就是用来存储hive的元数据信息。

hive6.png

7. 其他常用配置

• 在hive-site.xml中配置cli命令显示数据库名称和列标题名。

        hive.cli.print.header
        true


        hive.cli.print.current.db
        true

• hive默认的日志目录是在linux本地目录/tmp/user_name中，为了方便管理，修改日志存放的目录。把conf目录下面的hive-log4j.properties.template重命名为hive-log4j.properties，并修改hive.log.dir的值。

hive.log.threshold=ALL
hive.root.logger=INFO,DRFA
hive.log.dir=/opt/modules/hive-0.13.1/logs
hive.log.file=hive.log

8.使用HQL

• 创建数据库以及相关的操作。创建完一个数据库后会发现一个数据库对应hadoop上的一个目录。

hive (default)> show databases;
hive (default)> create database test_db;
hive (default)> use test_db;
hive (test_db)> show tables;

hive7.png

• 创建表并向表中导入数据

hive (test_db)> create table student(id int,name string) row format delimited fields terminated by '\t';
hive (test_db)> load data local inpath '/opt/datas/student.txt' into table student;

其中row format delimited fields terminated by '\t'是用来指定表中列与列之间的分隔符。

hive8.png

• 查看表信息

1. desc student; 只能查看表的字段和字段类型
2. desc extended student; 查看表的完整信息
3. desc formatted student; 格式化输出表的完整信息

• 基本查询语句。可以发现在第二条查询语句本质是生成map和reduce任务并执行。

  
  
  

  hive9.png
  
  
  

  hive10.png

• 查看函数和函数用途.

hive (test_db)> show functions;
hive (test_db)> desc function count;

• 在mysql的metastore数据库中查看元数据信息

  
  
  

  hive11.png
  
  
  

  hive12.png