hive基础学习

## hive产生

1、如果用mapreducer处理格式化数据是比较麻烦的开发周期比较长，成本比较高，而对于格式化数据来说还是sql跟擅长，而且成本比较低，于是方言版sql ，hql出来了

2、hive是基于hadoop的  数据存储在hdfs 的  并且对客户端提供hql支持 将hql语句转换为mapreduce任务的

hive 依赖于hadoop的分布式数据仓库

## hive特点

1. hive是由facebook实现并开源的

2. hive是基于hadoop的一个数据仓库工具

                    基于hadoop：

                        hive中的表中的数据  存储在hdfs上的 存储完全依赖于hdfs

                        hive最终计算使用的默认mapreduce

                        资源调度 yarn

                数据仓库工具：data warehouse  dw

                        存储数据的  更加像一个数据的管理工具

                        用户存储各种用于分析的数据 存储的数据量比较庞大的

                        结构复杂的

                        大数据集的管理工具

                **数据库 和数据仓库的区别：**

                        **数据库中一般存储某一个分析结果  结果**

                        **数据仓库： 面向主题的  过程**

                                数据分析过程 各个层级的数据

                                原始 日志

                                        flow.log

                                抽层 ：

                                        etl

                                        原始数据加工

                                        细化 将需要分析的字段  抽出来 存储在一个个表中

                                分析基于仓库中的数据

                        使用场景上：

                                OLTP  On line Transaction Processing  联机事务处理

                                        增 删 改

                                OLAP  On line analysis Processing  联机分析处理

                                        查询

                                **数据库  更加倾向于 OLTP**

                                **数据仓库：

                                        更加倾向于  olap  查询**

                                        hive 不支持 数据delete update 支持insert  但是insert的效率极低

                        模式上：

                                **数据库  mysql --写模式

                                        数据写入的时候 校验**

                                        hbase nosql 无严格模式

                                **数据仓库  hive---读模式

                                        数据读取的时候  校验的**

                        事务支持：

                                数据仓库  不擅长事务的 hive不支持事务

                                数据库  mysql 支持事务的

3. 可以将结构化数据映射为一张数据库表

                          结果化的一条数据---------》表中的一行数据

                          结果化的一个字段----------》表中的一个列

4. 提供hql（hiven sql）查询功能

                          对客户端提供hql查询功能

5. 地层数据存储在HDFS上

6. hive本质是将sql语句转换为MapReducer任务运行

                            hql--------------》mapreducer

7. 使不熟悉Mapreducer的用户很方便的利用hql处理和计算hdfs上的结构话数据节省开发成本

8. 适用于离线的批量数据计算

## hive架构

1、用户接口层，客户端使用

CLI命令行

hive>hive的命令操作以界面

jdbc/odbc

java程序操作hive jdbc

web ui一般不用界面太丑，操作繁琐

2、thrift server 跨语言服务层

hive hql

java |c| python

    进其他语言转化为hive能识别的语言

3、元数据存储层 meta store

        元数据：描述数据（hive表数据）的数据 描述hive真实存储数据的数据

                            hive中表的相关信息（除了表数据以外的信息）

                        表和hdfs数据的路径对应关系

                        表中的字段类型

                        表中字段的顺序

                        表的创建时间。。。

                        这些信息就叫做hive的元数据信息

          hive的元数据信息  存储的时候 采用格式化存储

                        存储在关系型数据库

                        默认的元数据存储数据库 derby

                        derby存储的时候有缺陷的  一般生产上换成mysql

        hive表数据存储在hdfs上

                          hive 表数据存储hdfs 元数据 存储关系型数据库的

  4、核心驱动层Driver

  将hql转换成mapreducer执行的

  1、解释器 解释器的作用是将 HiveSQL 语句转换为抽象语法树（AST）

                        解释hql语句中的核心的关键词

                        select group by  order by  limit

                  2、编译器：编译器将语法树编译为逻辑执行计划 一个hql语句会转化为多个mapreducer任务多个job

                    3、 优化器：优化器是对逻辑执行计划进行优化

                    4、执行器：执行器是调用底层的运行框架执行 优化器优化完成的结果