HIVE概念&组件&交互方式&架构

Hive概念
基于Hadoop的数据仓库工具
主要是将结构化的数据文件映射为数据库表，提供类sql功能
本质是将SQL转换为mapreduce程序

1、 将结构化文件和数据库表建立映射关系
2、 将文件列和数据库表列建立映射关系
3、 将sql进行语法解析
4、 调用相应的MR程序
5、 提交MR结果

Hive组件
接口：命令行、WebUI、JDBC等
元数据存储：基础的数据概念，将数据存放在关系型数据库中
解释器、编译器、优化器、执行器

HIVE架构图：

HIVE与传统数据库：
最本质：面向主题->仓库->海量、冗余->高延迟但是大规模->基于hadoop（HDFS\MR）

HIVE部署：
1、 derby 内嵌模式： /bin/hive 命令行方式开启，当前目录下自动创建metastore和derby.log，但是每个路径下均视为平行的实例，互不操作。
2、 利用关系型数据库存储元数据

HIVE几种交互方式：
1、 Shell bin/hive
2、 Hive JDBC服务
3、 HVIE启动为一个服务器，对外提供服务
Bin/hiveserver2
Nohup bin/hiveserver2 1>var/log/hiveserver.log 2>/var/log/hiveserver/err &

启动成功后，可以在别的机器上远程访问：(远程机器需要安装且配置HIVE)
Bin/beeline -u jdbc:hive2://mini:10000 -n root
或者
Bin/beeline
! connect jdbc:hive2://mini1:10000

4、 HIVE命令
a) HIVE -e ‘sql’
b) HIVE -f 1.sql >> 1.txt