Hive本地模式安装(详细)

1、Hive简介

什么是Hive?
Hive是建立在Hadoop文件系统上的数据仓库,它提供了一系列工具,能够对存储在HDFS中的数据进行数据提取、转换和加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。Hive定义简单的类SQL查询语言(即HQL),可以将结构化的数据文件映射为一张数据表,允许熟悉SQL的用户查询数据,允许熟悉MapReduce的开发者开发mapper和reducer来处理复杂的分析工作,与MapReduce相比较,Hive更具有优势。
Hive采用了SQL的查询语言Hive SQL,因此很容易将Hive理解为数据库。其实从结构上来看,Hive和数据库除了拥有类似的查询语言,再无类似之处,MySQL与Hive对比如下所示。
Hive本地模式安装(详细)_第1张图片
Hive是底层封装了Hadoop的数据仓库处理工具,运行在Hadoop基础上,其系统架构组成主要包含4部分,分别是用户接口、跨语言服务、底层驱动引擎及元数据存储系统。
Hive建立在Hadoop系统之上,因此Hive底层工作依赖于Hadoop服务
Hive中所有的数据都存储在HDFS中,它包含数据库(Database)、表(Table)、分区表(Partition)和桶表(Bucket)四种数据模型。

2、Hive安装

Hive的安装模式分为三种,分别是嵌入模式、本地模式和远程模式。

嵌入模式:使用内嵌Derby数据库存储元数据,这是Hive的默认安装方式,配置简单,但是一次只能连接一个客户端,适合用来测试,不适合生产环境。
本地模式:采用外部数据库存储元数据,该模式不需要单独开启Metastore服务,因为本地模式使用的是和Hive在同一个进程中的Metastore服务。
远程模式:与本地模式一样,远程模式也是采用外部数据库存储元数据。不同的是,远程模式需要单独开启Metastore服务,然后每个客户端都在配置文件中配置连接该Metastore服务。远程模式中,Metastore服务和Hive运行在不同的进程中。

3、基于MySQL的Hive本地模式安装

1、安装MySQL数据库
1.1更新apt-get 命令行:sudo apt-get update
Ps:如果apt-get 安装失败,可添加中科院的镜像源:
①编辑sudo vim /etc/apt/sources.list
②在文件头添加内容:

deb http://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb http://mirrors.ustc.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
deb http://mirrors.ustc.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb http://mirrors.ustc.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
deb http://mirrors.ustc.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb-src http://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb-src http://mirrors.ustc.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
deb-src http://mirrors.ustc.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb-src http://mirrors.ustc.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
deb-src http://mirrors.ustc.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse

1.2安装MySQL 命令行:sudo apt-get install mysql-server
1.2.1 设置root用户密码:
Hive本地模式安装(详细)_第2张图片
1.2.2 点击“确定”
Hive本地模式安装(详细)_第3张图片
1.2.3 点击“是”
Hive本地模式安装(详细)_第4张图片
1.3登录MySQL
1.3.1 登录MySQL
①启动MySQL服务:sudo service mysql start
②登录MySQL:mysql -uroot -p123 (这里root用户密码设为123)
Hive本地模式安装(详细)_第5张图片
1.4允许远程登录MySQL
1.4.1 在MySQL命令行工具输入:
grant all on . to ‘root’@’%’ identified by ‘123456’ with grant option;
在这里插入图片描述
1.4.2 授权生效:
flush privileges;
在这里插入图片描述
1.4.3 退出MySQL:exit;
在这里插入图片描述
1.4.4 编辑MySQL配置文件:sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf
Ps:删除或者注释掉这一行:blind-address =127.0.0.1
Hive本地模式安装(详细)_第6张图片
1.4.5 重启MySQL服务:sudo service mysql restart
在这里插入图片描述
2、安装Hive
2.1 上传并解压hive安装包
2.1.1 上传安装包到虚拟机中(注意自己的上传路径)
在这里插入图片描述
2.1.2 解压安装包:sudo tar -zvxf apache-hive-1.2.1-bin.tar.gz -C /usr/local/
2.1.3 重命名解压后的hive目录:sudo mv apache-hive-1.2.1-bin/ hive
在这里插入图片描述
2.1.4 更改hive目录拥有者为Hadoop用户:sudo chown -R hadoop:hadoop hive/
在这里插入图片描述
2.2 配置hive
2.2.1 打开 cd /usr/local/hive/conf/ ,将hive-default.xml.template拷贝一份,并重命名为hive-site.xml:cp hive-default.xml.template hive-site.xml
Hive本地模式安装(详细)_第7张图片
2.2.2 编辑vim hive-site.xml
Ps:将《configuration》和《/configuration》之间的内容全部删除,然后添加如下内容:


                hive.metastore.warehouse.dir</name>
                /hive/warehouse</value>
        </property>

        
                javax.jdo.option.ConnectionURL</name>
                jdbc:mysql://hadoop101:3306/hive?createDatabaseIfNotExist=true</value>
        </property>

        
                javax.jdo.option.ConnectionDriverName</name>
                com.mysql.jdbc.Driver</value>
        </property>

        
                javax.jdo.option.ConnectionUserName</name>
                root</value>
        </property>

在这里插入图片描述
Hive本地模式安装(详细)_第8张图片
2.3 上传Java连接MySQL的驱动依赖包到/usr/local/hive/lib/
Hive本地模式安装(详细)_第9张图片
3、启动hive
3.1 将HIVE_HOME添加到环境变量
3.1.1 编辑vim ~/.bashrc
3.1.2 添加如下内容:

export HIVE_HOME=/usr/local/hive
export PATH=${HIVE_HOME}/bin:$PATH

3.1.3 source生效:source ~/.bashrc
Hive本地模式安装(详细)_第10张图片

3.2 格式化MySQL
3.2.1格式化MySQL:schematool -dbType mysql -initSchema
Hive本地模式安装(详细)_第11张图片
3.2.2 登录MySQL:mysql -uroot -p123 ,查看hive数据库:show databases;
Hive本地模式安装(详细)_第12张图片
3.3 启动hive
先将HDFS和YARN 启动,再通过hive命令启动:hive
在这里插入图片描述
4、HIve初体验
4.1创建一个数据库test
create database test;
在这里插入图片描述
4.2 登录Hadoop网页(50070端口)查看命名空间
Hive本地模式安装(详细)_第13张图片
4.3 切换到数据库test
use test;
Hive本地模式安装(详细)_第14张图片
4.4 创建一张表
CREATE TABLE stu(
id string,
name string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’;

在这里插入图片描述
4.5 向表stu插入数据
INSERT INTO TABLE stu VALUES(101,‘zhangsan’);
INSERT INTO TABLE stu VALUES(102,‘lisi’);
INSERT INTO TABLE stu VALUES(103,‘wangwu’);

4.6 查询表
SELECT * FROM stu;
Hive本地模式安装(详细)_第15张图片

4、结尾

启动hive前,先启动dfs和yarn。如果需要Java连接MySQL的驱动依赖包和Hive安装包的,可找本博主小AO

你可能感兴趣的:(大数据,hive,数据库,hadoop)