云应用系统开发--------数据仓库Hive

数据仓库Hive

实验目的要求

实验目的:

Ø 数据仓库工具Hive的安装和配置
Ø 掌握数据仓库工具Hive的安装和配置

实验要求:

Ø 完成Hive工具的安装和配置
Ø Hive工具能够正常启动运行
Ø Hive控制台命令能够正常使用
Ø 能够正常操作数据库，表，数据

实验环境：

Ø 一台独立PC机或虚拟机
Ø 每台主机内存2G以上，磁盘剩余空间500M以上
Ø 已安装CentOS 7.4操作系统
Ø 已安装JDK
Ø 已完成Hadoop平台的搭建
Ø 已完成MySQL数据库平台的搭建

软件版本:

选用Hive的2.1.1版本，软件包名apache-hive-2.1.1-bin.tar.gz.

依赖软件：

Hive工具使用JDBC方式连接MySQL数据库，需要用到MySQL数据库连接工具软件，选用该软件的5.1.42版本，软件包名为mysql-connector-java-5.1.42-bin.jar

实验内容与完成情况

一． Hive中的DDL 和DML的使用

1. 启动mysql集群

1.1启动主节点mysql服务

1.2 启动数据节点mysql服务

1.3 启动应用节点mysql服务

1.4 测试MySQL是否启动成功

2 启动Hadoop集群

2.1 启动zookeeper

2.2 启动Hadoop

在备用主节点启动resourcemanager

2.3 查看所有节点的进程是否启动成功

2.4 在web页面查看节点状态

3 start-hbase.sh启动Hbase，查看Hbase是否启动成功

3.1 在web端验证

4 hive数据库的基本操作

启动hive 进入控制台

4.1 创建数据库，使用数据库

4.2 创建内部表

4.3 查看表

4.4 查看表结构

4.5 创建外部表

4.6 查看表，查看表结构

4.7 创建分区表，查看表，查看表结构

5 修改表

查看分区下信息

6 新建emp.txt文件

6.1 上传文件到/home/admin/file

6.2 查看文件信息

6.3 装载本地文件到hive，查看表信息

6.4 创建一个存放文件的目录

6.5 上传文件

6.6查看文件

6.7 查看文件内容

7 hive UDF开发

7.1 创建工程

7.2 添加依赖

7.3 hive UDF开发

7.4 将打好的jar包上传到集群

7.5 添加自定义函数

7.6 查看函数

7.7 查看内容

8 调优策略