hive学习笔记（一）本地环境搭建

前阵子，完成hadoop的学习，其中某些学习笔记还在整理之中，稍后会发出，基本都是看视频，看书学习的，属于基本操作，大神可绕道.......今天是对hive安装 笔记，具体内容如下:

1.概念

hive是基于hadoop的数据仓库 工具，可以将结构化的数据文件映射成一张数据表。并且提供类sql查询功能。当然hivesql的底层也是通过mapreduce来实现的。

2.hive的组成

hive包含，用户接口、元数据、数据仓库、解析器等组件构成，其中用户接口包含shell客户端，jdbc,odbc，web接口等。元数据是指定义在hive中表结构信息，一般存在关系型数据库中,如mysql中保存。解析器是将hivesql解析成mapreduce过程。数据仓库就是由hdfs组成的数据存储容器。结构如下图：

image.png

3.hive的安装模式

hive的安装，metastore存储位置不同。可以分为本地安装、远程安装、内嵌安装。其中：
内嵌安装是指将derby存储元数据。
远程安装是明确指定metastore安装机器位置，可以指定多个。需要指定参数
hive.metastore.uris，hive.metastore.local必须设置为false。
本地安装是将metastore和hive客户端安装在同一个机器上。同时hive.metastore.local设置为true.

4.hive的安装（由于条件限制，进行本地安装模式。使用mysql存储元数据）

'''
## mysql安装
1.使用yum安装mysql
yum install mysql
yum install mysql-server
yum install mysql-devel(可选)
2.修改配置信息 vim /etc/my.cnf
[mysql]
default-character-set=utf8
[mysqld]
character-set-server=utf8
lower_case_table_names=1
3.启动mysql service mysqld restart/start/stop
4.配置超级用户及密码： mysqladmin -u root password 132654
5.使用root登录，并创建mysql用户.
mysql -u root -p 132654
create user 'hive' identified by 'hive';
6.授权。
grant all privileges on . to 'hive'@'all' with grant option
flush privileges;
7.重新启动服务，并使用hive用户创建数据库
create database hive;
alter database hive character set latin1;
## hive的安装
1.下载软件：http://archive.cloudera.com/cdh5/cdh/5/hive-0.13.1-
cdh5.3.6.tar.gz
2.修改hive-site文件（hive-0.13.1-cdh5.3.6/conf）




hive.metastore.uris
thrift://hadoop:9083


hive.metastore.warehouse.dir
/hive


javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&



javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
hive


javax.jdo.option.ConnectionPassword
hive


3.配置环境变量（vi ~/.bash_profile）
export HIVE_HOME=/usr/soft/hive-0.13.1-cdh5.3.6/
export PATH=$PATH:$HIVE_HOME/bin
让环境变量生效：source ~/.bash_profile
4.移动mysql驱动jar到hive的lib文件夹下。
5.启动metastore服务(启动hdfs+yarn服务)
hive --service metastore &
6.进入hive客户端
hive --service metastore–hiveconf hive.root.logger=DUBUG,console
'''
7.测试。

image.png

在mysql中查看元数据信息。

image.png

      安装完毕！！