数据仓库面试题-初级

1、什么是数据仓库？

权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

1）数据仓库是用于支持决策、面向分析型数据处理；

2）对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改

异构数据源（disparate data source）广义上讲是指数据结构、存取方式、形式不一样的多个数据源。如，在一个系统中，同时包含由关系型数据库Oracle/SQL SERVER/MYSQL、EXCEL文件或txt文本数据、XML数据等不同的数据源的一个整体，就是一个异构的数据源

2、数据仓库和数据库的区别？  

从目标、用途、设计来说

1）数据库是面向事务处理的，数据是由日常的业务产生的，并且是频繁更新的；数据仓库是面向主题的，数据来源多样化，经过一定的规则转换得到的，用于分析和决策

2）数据库一般用来存储当前事务性数据，如交易数据；数据仓库一般存储的是历史数据

3）数据库设计一般符合三范式，有最大的精确度和最小的冗余度，有利于数据的插入；数据仓库设计一般不符合三范式，有利于查询

3、数据集市和数据仓库的区别？

1）数据仓库是企业级的，能为整个企业各个部门的运行提供决策支持手段；

数据集市是一种微型的数据仓库，它通常有更少的数据,更少的主题区域，以及更少的历史数据，因此是部门级的，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。

2） 数据仓库向各个数据集市提供数据

3） 几个部门的数据集市组成一个数据仓库

4） 通常仓库中数据粒度比集市的粒度要细

作为一个包含多个业务部门，且有大量应用系统的企业，应该如何去设计搭建数据集市。

开放性题目，可以按照部门划分集市，也可以按照应用系统划分集市等等

4、如何构建数据仓库？

数仓模型的选择是灵活的，不局限于某种模型方法。

数仓数据是灵活的，以实际需求场景为导向。

数仓设计要兼顾灵活性、可扩展性，要考虑技术可靠性和实现成本。

1）调研：业务调研、需求调研、数据调研

2）划分主题域：通过业务调研、需求调研、数据调研最终确定主题域

3）构建总线矩阵、维度建模

总线矩阵：把总线架构列表形成矩阵形式，行表示业务处理过程，即事实，列表示一致性的维度，在交叉点上打上标记表示该业务处理过程与该维度相关（交叉探查）

4）设计数仓分层架构

5）模型落地

6）数据治理

5、为什么需要数据仓库建模？

性能：良好的模型能帮我们快速查询需要的数据，减少数据的IO吞吐

成本：减少数据冗余、计算结果复用、从而降低存储和计算成本

效率：改善用户使用数据的体验，提高使用数据的效率

改善统计口径的不一致性，减少数据计算错误的可能性

6、数仓架构为什么要分层？

1）分层可以清晰数据结构，使用时更好的定位和理解

2）方便追踪数据的血缘关系

3）规范数据分层，可以开发一些通用的中间层数据，能够减少极大的重复计算

4）把复杂的问题简单化

5）屏蔽原始数据的异常，下游任务没有感知异常

7、什么是ETL？

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，是数据仓库的生命线。

Kettle（正式名为Pentaho Data Integration）是一款基于Java开发的开源ETL工具，具有图形化界面，可以以工作流的形式流转，有效减少研发工作量，提高工作效率。Kettle支持不同来源的数据，包括不同数据库、Excel/CSV等文件、邮件、网站爬虫等。除了数据的抽取与转换，还支持文件操作、收发邮件等，通过图形化界面来创建、设计转换和工作流任务。

8、OLAP和OLTP的区别

联机交易处理（OLTP），联机交易处理，更侧重于基本的、日常的事务处理，包括数据的增删改查。

OLAP需要以大量历史数据为基础，再配合上时间点的差异，对多维度及汇整型的信息进行复杂的分析。

9、三大范式与反范式化

范式是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则。在关系数据库中，这种规则就是范式。

关系数据库中的关系必须满足一定的要求，即满足不同的范式。大数据生态中，各类强大的查询引擎层出不穷，相对廉价的磁盘和分布式技术，也让数据冗余变得可接受甚至更加方便。

在创建一个数据库的过程中，范化是将其转化为一些表的过程，这种方法可以使从数据库得到的结果更加明确。这样可能使数据库产生重复数据，从而导致创建多余的表。范化是在识别数据库中的数据元素、关系以及定义所需的表和各表中的项目等这些初始工作之后的一个细化的过程。

第一范式1NF：要求属性具有原子性，即列不可再分解；

第二范式2NF：要求记录有惟一标识，即不存在部分依赖；

第三范式3NF：是对字段的冗余性，要求任何字段不能由其他字段派生出来，它要求字段没有冗余，即不存在传递依赖；

可能会存在问题：数据冗余:有重复值；更新异常：有重复的冗余信息，修改时需要同时修改多条记录，否则会出现数据不一致的情况 。

反范式化

一般说来，数据库只需满足第三范式（3NF）就行了。

没有冗余的数据库设计可以做到。但是，没有冗余的数据库未必是最好的数据库，有时为了提高运行效率，就必须降低范式标准，适当保留冗余数据。具体做法是：在概念数据模型设计时遵守第三范式，降低范式标准的工作放到物理数据模型设计时考虑。降低范式就是增加字段，允许冗余，达到以空间换时间的目的。

范式化设计和反范式化设计的优缺点

范式化 （时间换空间）

优点：范式化的表减少了数据冗余，数据表更新操作快、占用存储空间少。

缺点：查询时需要对多个表进行关联，查询性能降低。 更难进行索引优化

反范式化（空间换时间）

反范式的过程就是通过冗余数据来提高查询性能，但冗余数据会牺牲数据一致性

优点：可以减少表关联；可以更好进行索引优化

缺点：存在大量冗余数据；数据维护成本更高（删除异常，插入异常，更新异常）

OLAP和OLTP中范式设计

OLAP 一般冗余比较多，以查询分析为主，这种一般都是采用反范式设计，以提高查询效率。更新一般是定时大批量数据插入。

OLTP 则是尽可能消除冗余，以提高变更的效率。因为这种应用无时无刻不在频繁变化。

10、维度建模  

维度建模步骤

维度建模一般按照以下四个步骤：

选择业务过程→声明粒度→确认维度→确认事实

1）选择业务过程

在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。

2）声明粒度

数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。

声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来应各种各样的需求。

典型的粒度声明如下：

订单事实表中一行数据表示的是一个订单中的一个商品项。

支付事实表中一行数据表示的是一个支付记录。

3）确定维度

维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。

确定维度的原则是：后续需求中是否要分析相关维度的指标。例如，需要统计，什么时间下的订单多，哪个地区下的订单多，哪个用户下的订单多。需要确定的维度就包括：时间维度、地区维度、用户维度。

4）确定事实

此处的“事实”一词，指的是业务中的度量值（次数、个数、件数、金额，可以进行累加），例如订单金额、下单次数等。

在DWD层，以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。

三种模式   星形、雪花、星座

星形模式:

由一个事实表和一组维表构成，以事实表为核心，维表围绕核心呈星状分布

维表只和事实表关联，维表之间没有关联

每个维表的主键为单列，且该主键放在事实表中，作为两边连接的外码

雪花模式:

每个维表可继续向外连接多个子维表

雪花模型相当于将星形模式的大维表拆分成小维表，满足规范化设计，在实际中较少

星座模式:

是对星型模型的扩展延伸，多张事实表共享维度表。

星座模型是很多数据仓库的常态，因为很多数据仓库都是多个事实表的。所以星座模型只反映是否有多个事实表，他们之间是否共享一些维度表。

11、事实表

粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。

细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。

维度表

1、什么是维度表？

维度是维度建模的基础和灵魂。在维度建模中，将度量称为“事实” ， 将环境描述为“维度”。

维度表包含了事实表中指定属性的相关详细信息，最常用的维度表有日期维度、城市维度等。

2、维度表设计原则

维度的作用一般是查询约束、分类汇总以及排序等，我们在进行维度表设计时，应当提前考虑：

（1）维度属性尽量丰富，为数据使用打下基础

比如淘宝商品维度有近百个维度属性，为下游的数据统计、分析、探查提供了良好的基础。

（2）给出详实的、富有意义的文字描述

属性不应该是编码，而应该是真正的文字。在间里巴巴维度建模中， 一般是编码和文字同时存在，比如商品维度中的商品 ID 和商品标题、 类目 ID 和 类目名称等。 ID 一 般用于不同表之间的关联，而名称一般用 于报表标签

（3）区分数值型属性和事实

数值型宇段是作为事实还是维度属性，可以参考字段的一般用途。 如果通常用于查询约束条件或分组统计，则是作为维度属性;如果通常 用于参与度量的计算， 则是作为事实。比如商品价格，可以用于查询约 束条件或统计价格区间 的商品数量，此时是作为维度属性使用的;也可 以用于统计某类目 下商品的平均价格，此时是作为事实使用的。另外， 如果数值型字段是离散值，则作为维度属性存在的可能性较大;如果数 值型宇段是连续值 ，则作为度量存在的可能性较大，但并不绝对，需要 同时参考宇段的具体用途。

（4）沉淀出通用的维度属性，为建立一致性维度做好铺垫

有些维度属性获取需要进行比较复杂的逻辑处理，有些需要通过多表关联得到，或者通过单表 的不同宇段混合处理得到，或者通过对单表 的某个字段进行解析得到。此时，需要将尽可能多的通用的维度属性进 行沉淀。一方 面，可以提高下游使用的方便性，减少复杂度;另一方面，可以避免下游使用解析时由于各自逻辑不同而导致口径不 一致。

（5）退化维度（DegenerateDimension）

在维度类型中，有一种重要的维度称作为退化维度。这种维度指的是直接把一些简单的维度放在事实表中。退化维度是维度建模领域中的一个非常重要的概念，它对理解维度建模有着非常重要的作用，退化维度一般在分析中可以用来做分组使用。

（6）缓慢变化维（Slowly Changing Dimensions）

维度的属性并不是始终不变的，它会随着时间的流逝发生缓慢的变化，这种随时间发生变化的维度我们一般称之为缓慢变化维（SCD slowly changing dimensions），缓慢变化维一般使用代理健作为维度表的主健。

缓慢变化维的三种处理方式：

① TYPE1 直接覆盖原值

适用于：不看历史数据，简单粗暴

② TYPE2 拉链表

需要在维度行再增加三列：有效日期、截止日期、行标识（可选）。

在旧的一行数据增加关链时间（end_date），新的一行数据增加开链时间和关链时间，多条数据加起来是一个完整的时间周期。

③ TYPE3 增加属性列

3、维度表设计方法

第一步：选择维度或新建维度。作为维度建模的核心，在企业级数 据仓库中必须保证维度的唯一性。以淘宝商品维度为例，有且只允许有 一个维度定义。

第二步：确定主维表。此处的主维表一般是 ODS 表，直接与业务 系统同步。以淘宝商品维度为例， s_auction_auctions 是与前台商品中心 系统同步的商品表，此表即是主维表。

第三步：确定相关维表。数据仓库是业务源系统的数据整合，不同业务系统或者同 一业务系统中的表之间存在 关联性。根据对业务的梳 理，确定哪些表和主维表存在关联关系，并选择其中的某些表用于生成维度属性。

第四步 ：确定维度属性 。本步骤主要 包括两个阶段，其中第 一 个阶 段是从主维表 中选择维度属性或生成新的维度属性;第 二个阶段是从相 关维表中选择维度属性或生成新 的维度属性。以淘宝商品维度为例，从 主维表 (s_auction_auctions)和类目、 SPU、卖家、店铺等相关维表中 选择维度属性或生成新 的维度属性。

12、增量表、全量表和拉链表

增量表：记录更新周期内新增的数据，即在原表中数据的基础上新增本周期内产生的新数据；

全量表：记录更新周期内的全量数据，无论数据是否有变化都需要记录；

拉链表：一种数据存储和处理的技术方式，可以记录数据的历史信息，记录数据从开始一直到当前所有变化的信息。

拉链表性能优化：

拉链表当然也会遇到查询性能的问题，比如说我们存放了5年的拉链数据，那么这张表势必会比较大，当查询的时候性能就比较低了，个人认为两个思路来解决：

在一些查询引擎中，我们对start_date和end_date做索引，这样能提高不少性能。

保留部分历史数据，比如说我们一张表里面存放全量的拉链表数据，然后再对外暴露一张只提供近3个月数据的拉链表。

13、怎么理解元数据？

狭义来讲就是：元数据就用来描述数据的数据

广义来讲，除了业务逻辑直接读写处理的业务数据，所有其他用来维护整个系统运转所需要的数据，都可以认为是元数据

在数仓中，元数据可以帮助数仓人员方便找到他们所关系的数据，是描述数仓内部数据的结构和建立方法的数据。按照用途可分为：技术元数据、业务员数据

技术元数据：存储关于数据仓库技术细节的数据，用于开发和管理数仓使用的数据

业务元数据：从业务角度描述了数据仓库中的数据，提供介于使用者和实际系统之间的语义层，使不懂计算机技术的业务人员也能读懂数仓中的数据

元数据管理功能

数据地图：以拓扑图的形式对数据系统的各类数据实体、数据处理过程元数据进行分层次的图形化展示，并通过不同层次的图形展现。

元数据分析：血缘分析、影响分析、实体关联分析、实体差异分析、指标一致性分析。

辅助应用优化：结合元数据分析功能，可以对数据系统的应用进行优化。

辅助安全管理：采用合理的安全管理机制来保障系统的数据安全；对数据系统的数据访问和功能使用进行有效监控。

基于元数据的开发管理：通过元数据管理系统规范日常开发的工作流程（包括任务调度系统）。

14、数仓如何确定主题域？

主题是在较高层次上将数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域，在逻辑意义上，他是对企业中某一宏观分析领域所涉及的分析对象。

面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整并且一致的描述，能刻画各个分析对象所涉及的企业各项数据，以及数据之间的联系。

主题域通常是联系较为机密的数据主题的集合，可以根据业务的关注度，将这些数据主题划分到不同的主题域（也就是说对某个主题进行分析后确定的主题的边界）。

关于主题域的划分，可以考虑几方面：

1、按照业务或者业务过程划分：比如一个靠销售广告位置的门户网站主题域可能会有广告域，客户域等，而广告域可能就会有广告的库存，销售分析、内部投放分析等主题；

2、根据需求方划分：比如需求方为财务部，就可以设定对应的财务主题域，而财务主题域里面可能就会有员工工资分析，投资回报比分析等主题；

3、按照功能或者应用划分：：比如微信中的朋友圈数据域、群聊数据域等，而朋友圈数据域可能就会有用户动态信息主题、广告主题等；

4、按照部门划分：比如可能会有运营域、技术域等，运营域中可能会有工资支出分析、活动宣传效果分析等主题；

总而言之，切入的出发点逻辑不一样，就可以存在不同的划分逻辑。在建设过程中可采用迭代方式，不纠结于一次完成所有主题的抽象，可先从明确定义的主题开始，后续逐步归纳总结成自身行业的标准模型。

15、如何控制数据质量？

1）校验机制，每天对比数据量，比如count(*)，早发现，早修复

2）数据内容的比对，抽样对比

3）复盘、每月做一次全量

16、什么是BI工具？

BI工具即商业智能（Business Intelligence）分析工具的英文缩写。它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。