Hive学习笔记 --- Hive架构原理 与 执行流程 与 工作原理

一、简述：

HIve数据仓库可以使用类SQL（HQL）查询读取、写入和管理存储在分布式中的大型数据集。

 

Hive建立在Hadoop之上，提供以下功能：

• 通过SQL轻松访问数据的工具，从而实现数据仓库的任务，例如提取/转换/加载（ETL），报告和数据分析；

• 一种将强结构用于各种数据格式的机制；

• 可以直接访问存储在HDFS或者和其他存储系统（HBase）中的文件；

• 通过Tez、Spark、MapReduce执行查询HPL-SQL过程语言；

• 通过Hive LLAP, YARN和Slider进行亚秒级别查询检索；

 

Hive 提供了标准的SQL功能，包括许多更高版本的SQL-2003，SQL-2011，SQL-2016分析功能。

Hive的SQL也可以通过用户定义的函数（UDF），用户定义的集合（UDAF）和用户定义的表函数（UDTF）扩展为用户代码。

没有一种必须在其中存储数据的“配置单元格式”。Hive带有用于逗号“，”和制表符（CSV/TSV）文本文件， Parquet、ORC和其他格式的内置格式。

Hive不适合 联机的事务处理（OLTP）工作负载。最好用于传统的数据仓库任务。

HIve旨在最大程度的提高扩展性（通过向Hadoop集群动态地添加更多计算节点来横向扩展），性能上，可扩展性，容错以及与输入格式的松散耦合。

Hive组件包括HCatalog和WebHCat：

• HCatalog是Hadoop的表和存储管理层，它使使用不同的数据处理工具（包括pig或者MapReduce）的用户能够更轻松的在网格上读写数据；

• WebHCat提供了可于运行Hadoop MapReduce(或YARN)，Pig，Hive作业的服务。除此之外还可以使用HTTP（RESTful）借口执行Hive元数据操作；