大数据之数仓--DW--Hadoop数仓实践Case-08-退化维度

退化维度概述

• 退化维度，该技术减少维度的数量， 简化维度数据仓库模式。 简单的模式比复杂的更容易理解， 也有更好的查询性能。
• 有时， 维度表中除了业务主键外没有其他内容。 例如， 在我们的销售订单示例中， 订单维度表除了订单号， 没有任何其他属性， 而订单号是事务表的主键。 我们将这种维度称为退化维度。 业务系统中的主键通常是不允许修改的。 销售订单只能新增， 不能修改已经存在的订单号， 也不会删除订单记录。 因此订单维度表也不会有历史数据版本问题。 退化维度常见于事务和累积快照事实表中。
• 销售订单事实表中的每行记录都包括作为退化维度的订单号代理键。 在操作型系统中， 销售订单表是最细节事务表， 订单号是订单表的主键， 每条订单都可以通过订单号定位， 订单中的其他属性， 如客户、 产品等， 都依赖于订单号。 也就是说，订单号把与订单属性有关的表联系起来。 但是， 在维度模型中， 事实表中的订单号代理键通常与订单属性的其他表没有关联。 可以将订单事实表所有关心的属性分类到不同的维度中， 例如， 订单日期关联到日期维度， 客户关联到客户维度等。 在事实表中保留订单号最主要的原因是用于连接数据仓库与操作型系统， 它也可以起到事实表主键的作用。 某些情况下， 可能会有一个或两个属性仍然属于订单而不属于其他维度。 当然， 此时订单维度就不再是退化维度了。
• 退化维度通常被保留作为操作型事务的标识符。 实际上可以将订单号作为一个属性加入到事实表中。 这样订单维度就没有数据仓库需要的任何数据， 此时就可以退化订单维度。 需要把退化维度的相关数据迁移到事实表中， 然后删除退化的维度。
• 注意， 操作型事务中的控制号码， 例如， 订单号码、 发票号码、 提货单号码等通常产生空的维度并且表示为事务事实表中的退化维度。
• 【大数据开发学习资料领取方式】：加入大数据技术学习交流群458345782，点击加入群聊，私信管理员即可免费领取

退化订单维度

• 使用维度退化技术时先要识别数据， 分析从来不用的数据列。 例如， 订单维度的order_number列就可能是这样的一列。 如果用户想看事务的细节， 还需要订单号。 因此， 在退化订单维度前， 要把订单号迁移到sales_order_fact事实表。
  下图为修改过的模式：

   

  

  退化订单维度.PNG

• 在实际开发中，维度的退化，是需要在数仓建模设计之前规划好的，不建议在数仓建设的途中进行退化维度，成本比较高。

• 按顺序执行以下四步进行维度退化，source_order_dim维度退化。
  （1）给dw.sale_order_fact表添加order_number；
  （2）把source.source_order_dim中的订单号迁移到dw.sale_order_fact表中；
  （3）删除dw.sale_order_fact表中的order_sk；
  （4）删除source.source_order_dim表，维度退化完成。

修改定期装载脚本

• 采用"腾笼换鸟"的方式将dw.sale_order_fact进行替换、重写
  脚本如下：

-- 修改dw.sale_order_fact名称，重命名
alter table dw.sale_order_fact rename to dw.sale_order_fact_old;
-- 创建新表，添加order_number列
create table 
    dw.sale_order_fact(
    order_number int comment 'order_number',
    customer_sk int comment 'customer surrogate key',
    product_sk int comment 'product surrogate key',
    order_date_sk string comment 'date surrogate key',
    request_delivery_date_sk int comment 'request_delivery_date_sk',
    order_amount decimal (10 , 2 ) comment'order amount',
    order_quantity int comment 'order_quantity'
    )
clustered by (order_number)
into 8 buckets
stored as orc tblproperties('transactional'='true');
-- 将数据插入到新建的表中
insert into table
    dw.sale_order_fact
select
    t2.order_number,
    t1.customer_sk,
    t1.product_sk,
    t1.order_date_sk,
    t1.request_delivery_date_sk,
    t1.order_amount,
    t1.order_quantity
from 
    dw.sale_order_fact_old t1
inner join
    source.source_order_dim t2
on
    t1.order_sk=t2.order_key;
-- 删除旧表中的数据
drop table dw.sale_order_fact_old;

• 语句说明，语句的策略就是将老的数据重新加载到新定义的规则中。
• 另外需要对定期装载脚本进行修改，不需要再装载source.source_order_dim了。

更多大数据学习相关资源请关注公众号：ITdaima