数仓--DW--Hadoop数仓实践Case-11-分段维度

分段维度概述

• 在客户维度中， 最具有分析价值的属性就是各种分类， 这些属性的变化范围比较大。 对某个个体客户来说， 可能的分类属性包括： 性别、 年龄、 民族、 职业、 收入和状态， 例如， 新客户、 活跃客户、 不活跃客户、 已流失客户等。 在这些分类属性中， 有一些能够定义成包含连续值的分段， 例如年龄和收入这种数值型的属性， 就可以分成连续的数值区间， 而像状态这种描述性的属性， 可能需要用户根据自己的实际业务仔细定义， 通常定义的根据是某种可度量的数值。
• 组织还可能使用为其客户打分的方法刻画客户行为。 分段维度模型通常以不同方式按照积分将客户分类， 例如， 基于他们的购买行为、 支付行为、 流失走向等。 每个客户用所得的分数标记。
• 下面以销售订单为例， 说明分段维度的实现技术。 分段维度包含连续的分段度量值。 例如， 年度销售订单分段维度可能包含有叫做“低”“中”“高”的三个档次， 各档定义分别为消费额在0.01到3000、 3000.01到6000.00、 6000.01到99999999.99区间。 如果一个客户的年度销售订单金额累计为1000， 则被归为“低”档。 分段维度可以存储多个分段集合。 例如， 可能有一个用于促销分析的分段集合， 另一个用于市场细分， 可能还有一个用于销售区域计划。 分段一般由用户定义， 而且很少能从源事务数据直接获得。

年度销售订单星型模型

• 为了实现年度订单分段维度，需要新建两个星型模型，如下所示：

  
  
  分段维度.PNG
• 第一个星型模型是annual_sale_order_fact事实表、source_consumer_dim维度表、source_year_dim维度表构成；年维度是新建的维度，是日期维度的子维度。年度销售额事实表存储客户一年的消费总额，数据由现有的订单事实表中汇总而来。
• 第二个星型模型是由annual_customer_segment_fact事实表、source_order_segment_dim维度表、source_consumer_dim维度表、source_year_dim维度表构成。客户年度分段事实表中没有度量，只有来自三个相关维度表的代理键，因此它是一个无事实的事实表，存储的数据实际上就是前文所说的行为标记时间序列。年度订单分段维度用于存储分段的定义，在本案例中，它只与年度分段事实表有关系。

• 如果多个分段的属性相同， 可以将它们存储到单一维度表中， 因为分段通常都有很小的基数。 本例中source_order_segment_dim表存储了“project”和“grid”两种分段集合，它们都是按照客户的年度销售订单金额将其分类。 分段维度按消费金额的定义如下表所示， project分六段， grid分三段。

  
  
  度量分段.PNG
• 每一分段有一个开始值和一个结束值。 分段的粒度就是本段和下段之间的间隙。 粒度必须是度量的最小可能值， 在销售订单示例中， 金额的最小值是0.01。 最后一个分段的结束值是销售订单金额可能的最大值。 下面的脚本用于建立分段维度数据仓库模式。

创建表

-- 创建source_order_segment_dim
create table
    source.source_order_segment_dim
(
    segment_key int,
    segment_name varchar(50),
    band_name varchar(50),
    band_start_amount decimal(10,2),
    band_end_amount decimal(10,2),
    segment_valid_from date,
    segment_valid_to date,
    segment_indicator string,
    segment_version int
) 
clustered by(segment_key) into 8 buckets
stroed as
orc tblproperties ('transactional'='true');
-- 创建过度表
create table 
    source.source_order_segment_dim_tmp
(
    segment_key int,
    segment_name varchar(50),
    band_name varchar(50),
    band_start_amount decimal(10,2),
    band_end_amount decimal(10,2),
    segment_valid_from date,
    segment_valid_to date,
    segment_indicator string,
    segment_version int
)
row format delimited fields terminated by ','
NULL defined as ''
stored as textfile;
-- 将有限的写入文本文件，load 到数据表中
--1 project bottom  0.01    2500.00 1900-01-01  9999-12-31  Current 1
--2 project low 2500.01 3000.00 1900-01-01  9999-12-31  Current 1
--3 project mid_low 3000.01 4000.00 1900-01-01  9999-12-31  Current 1
--4 project mid 4000.01 5500.00 1900-01-01  9999-12-31  Current 1
--5 project mid_high    5500.01 6500.00 1900-01-01  9999-12-31  Current 1
--6 project top 6500.01 9999999.00  1900-01-01  9999-12-31  Current 1
--7 grid    low 0.01    3000    1900-01-01  9999-12-31  Current 1
--8 grid    mid 3000.01 6000    1900-01-01  9999-12-31  Current 1
--9 grid    high    6000.01 9999999.00  1900-01-01  9999-12-31  Current 1

-- 加载数据
load data local inpath '/root/user/liyahui/project_grid.txt' into table source.source_order_segment_dim_tmp;

-- 将分段度量值插入到维度表中
insert into 
    source.source_order_segment_dim
select * from source.source_order_segment_dim_tmp ;

-- 删除临时表
drop table source.source_order_segment_dim_tmp;

-- 创建source_year_dim,hive默认文本格式
create table
    source.source_year_dim
(
    year_key int,
    year int
);
-- 创建事实表
create table 
    dw.annual_sale_order_fact
(
    customer_sk int,
    year_sk int,
    annual_order_amount decimal(10,2)
);
create table 
    dw.annual_customer_segment_fact
(
    segment_sk int,
    customer_sk int,
    year_sk int
);

装载脚本

-- 初始装载
-- 装载source.source_year_dim
insert into 
    source.source_year_dim
select
    row_number() over(order by t1.year),
    year
from
    (select distinct year,year from source.source_date_dim) t1;
-- 装载dw.annual_sale_order_fact
insert into 
    dw.annual_sale_order_fact
select
    a.customer_sk,
    year_sk,
    sum(order_amount)
from
    dw.sale_order_fact a,
    source.source_year_dim b,
    source.source_order_date_dim c
where 
    a.order_date_sk=c.order_date_sk
and
    b.year=d.year
and
    d.year <2019
group by a.customer_sk,b.year_sk;

-- 装载dw.annual_customer_segment_fact
insert into 
    dw.annual_customer_segment_fact
select
    b.segment_key,
    a.customer_sk,
    a.year_sk
from
    dw.annual_sale_order_fact a,
    source.source_order_segment_dim b
where 
    annual_order_amount >= band_start_amount
and
    annual_order_amount <= band_end_amount;

• 语句说明：初始装载脚本将订单日期角色扮演维度表（source_date_dim表的一个视图） 里的去重年份数据导入年份维度表， 将销售订单事实表中按年客户和分组求和的汇总金额数据导入年度销售事实表。 因为装载过程不能导入当年的数据， 所以使用year < 2019过滤条件作为演示。 这里是按客户代理键customer_sk分组求和来判断分段， 实际情况可能是以customer_number进行分组的， 因为无论客户的SCD属性如何变化， 一般还是认为是一个客户。 将年度销售事实表与分段维度表关联， 把年份、 客户和分段三个维度的代理键插入年度客户消费分段事实表。 注意， 数据装载过程中并没有引用客户维度表， 因为客户代理键可以直接从销售订单事实表得到。 分段定义中， 每个分段结束值与下一分段的开始值是连续的， 并且分段之间不存在数据重叠， 所以装载分段事实表时， 订单金额判断条件两端都使用闭区间。
• 数据装载之后，需要进行验证。

定期装载

• 因为此项分段维度分析是基于年为单位，可不必进行定期装载。因为一年才计算一次，频度太低了。如果是以月或者季度的时间粒度进行分析，可以进行定期装载脚本的开发和Azkaban任务流的调度。