数据仓库和hive的概念

一、数据仓库概念

1.1 数据仓库的基本概念

• 数据仓库的英文名称为Data Warehouse，可简写为DW或DWH。

• 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持的目的而创建。

• 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

1.2 数据仓库的主要特征

• 数据仓库是面向主题的（Subject-Oriented）、集成的（Integrated）、非易失的（Non-Volatile）和时变的（Time-Variant ）数据集合，用以支持管理决策。

1.3 数据仓库与数据库区别

• 数据库与数据仓库的区别实际讲的是OLTP 与 OLAP 的区别。

• 操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理OLTP。

• 分析型处理，叫联机分析处理 OLAP（On-Line Analytical Processing），一般针对某些主题的历史数据进行分析，支持管理决策。

• 首先要明白，数据仓库的出现，并不是要取代数据库。

• 数据库是面向事务的设计，数据仓库是面向主题设计的。

  • 数据库一般存储业务数据，数据仓库存储的一般是历史数据。

  • 数据库设计是尽量避免冗余，一般针对某一业务应用进行设计；比如一张简单的User表，记录用户名、密码等简单数据即可，符合业务应用，但是不符合分析；数据仓库在设计是有意引入冗余，依照分析需求，分析维度、分析指标进行设计。

  • 数据库是为捕获数据而设计，数据仓库是为分析数据而设计。

    • 以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记账。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。

    • 显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。

  • 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。

1.4 数据仓库分层架构

• 按照数据流入流出的过程，数据仓库架构可分为三层——源数据层、数据仓库层、数据应用层。

• 数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。

• 源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。

• 数据仓库层（DW）：也称为细节层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。

• 数据应用层（DA或APP）：前端应用直接读取的数据源；根据报表、专题分析需求而计算生成的数据。

• 数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。

• 为什么要对数据仓库分层？

  • 用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；
  • 不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。
  • 通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。

  

二. Hive的概念

1 Hive的概念

• Hive是基于Hadoop的一个数据仓库工具

  • 可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

  • 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储支持，说白了hive可以理解为一个将SQL转换为MapReduce任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端

2 Hive与数据库的区别

• Hive 具有 SQL 数据库的外表，但应用场景完全不同。

• Hive 只适合用来做海量离线数据统计分析，也就是数据仓库。

3 Hive的优缺点

• 优点

• 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。

  • 避免了去写MapReduce，减少开发人员的学习成本。

  • Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

• 缺点

  • Hive 的查询延迟很严重

  • hadoop jar xxxx.jar xxx.class /input /output

    • 进行任务的划分，然后进行计算资源的申请

    • map 0% reduce 0%

    • map 10% reduce 0%

  • Hive 不支持事务

4 Hive架构原理

• 1、用户接口：Client

  • CLI（hive shell）

• JDBC/ODBC(java访问hive)

• WEBUI（浏览器访问hive）

• 2、元数据：Metastore

  • 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

• 默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

• 3、Hadoop集群

• 使用HDFS进行存储，使用MapReduce进行计算。

• 4、Driver：驱动器

  • 解析器（SQL Parser）

    将SQL字符串转换成抽象语法树AST

    对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误

• 编译器（Physical Plan）：将AST编译生成逻辑执行计划

• 优化器（Query Optimizer）：对逻辑执行计划进行优化

  • 执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说默认就是mapreduce任务