数仓分层总结

数据仓库分为四层
ods 、dwd、dws、ads

• ods层上是一些原始的数据，存放原始数据，直接加载原始日志、数据（事件表），保持数据原貌不作处理，也就是做一个备份的作用，不要解析数据
  创建支持LZO压缩的表：减少存储空间 100g_10g\5g 单双json
  创建分区表：防止全表扫描（导数据 ：全量、新增、新增和变化）

• dwd层是根据ods层表进行解析，然后清除脏数据，敏感信息的处理例如身份证脱敏，掩码、加密、截取等。得到的数据比较干净，能用的数据
  结构和粒度与原始表保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据出现负值的一些情况）
  ETL清洗脏数据
  ETL工具：hive hql、mr、spark sql、python、kettle
  构建维度模型，采用星型模型，呈现状态为星座模型

• Dws层是根据dwd层轻度聚合来的数据，主要是一些宽表（维度宽表），主要字段（用户ID 、下单次数、下单金额、支付次数）
  Hive
  内部表和外部表的区别：
  删除内部表时，会把元数据和原始数据全删除
  外部表删除时，只把元数据删除，原始数据保留
  什么场景创建外部表？内部表？
  多人使用是外部表，企业大量使用
  内部表是自己使用的临时表

拉链表：
记录每条信息的生命周期*，一旦一条记录的声命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。
如果当前日期至今有效，在结束日期输入一个极大值。
拉链表适合于数据会发生变化，但是大部分是不变的。（缓慢变化维）
做每日全量效率低
只记录数据发生变化的时间
历史切片
修改频率不高，属于缓慢变化维度，此处采用拉链表存储用户维度数据
有一张表一个月更新一点数据
拉链表改变更改信息和同时有新增信息时只能改变全表
新数据和老数据join 存入临时表 再覆盖
操作
建立初始拉链表，在末端加入开始时间和结束时间*

设备主题宽表
topic
设置首末时间次数、累计（注意单位）
insert overwrite table
末次取最新的，首次取旧的
会员主题宽表
宽表字段：维度关联的事实表度量值+开头、结尾+累积+累积一个时间段。

*sql总结：

1. 遇到统计声明次数用count
2. 遇到统计是金额用sum
3. 如果是累积表，获取旧表 （目标表）数据，再获取新表（输入表）数据
4. 遇到统计累计值，旧的+新的
5. 累积表中获取首次时间 ，旧的时间为null，取当前时间，否则取旧的
6. 累计表中获取末次时间（最近时间），新的id不为空，取当前时间，否则取旧的
7. 问天数，就是把次数转换为天数 if判断
   if（new.logun_count>0,1,0）
8. 使用group by 时要注意：查询的字段：1.分组里面有；2.常量；3.聚合函数
9. 累积30天等指标
   在新数据表new中进行累加 where最近30天
10. 如果涉及的表比较多可以采用with tmp 的方法*
    建立宽表依据维度*

• ads就是聚合后的数据，数据量很小，一些重要的指标数据结果，可以导入到mysql。各种统计报表提供数据

离线指标：
1.日活/周活/月活统计：（每日的根据key聚合，求key的总数）
2.用户新增：每日新增（每日活跃设备left join每日新增表，如果join后，每日新增表的设备id为空，就是新增）
3.用户留存率：（一周留存）10日新增设备明细join 11日活跃设备明细表，就是10日留存的。注意每日留存，一周留存
4.沉默用户占比：只在当天启动过，且启动时间在一周前
6.用户在线时长统计
7.区域用户订单数（根据区域分区，然后求订单数）
8.区域订单总额（根据区域分区，求订单总额。）
9.区域用户订单访问转化率（以区域分组成单数/访问数）
10.区域客单价（订单总额度/下订单总人数）
11.总退货率（退货商品数/购买商品总数）
12.各区域退货率（根据区域分组）
13.GMV（成交总额）
14.物流平均时长（用户收货时间-物流发货时间）求平均
15.每周销量前十品类
16.每周各品类热门商品销量前三
17.各区域热门商品销量前五（有利于后期铺货）
18.各区域漏斗分析
19.商品评价人数占比（该商品的总评价人数/该商品的总购买人数）
20.各品牌商家总销售额。
21.各品类中销量前三的品牌
22.购物车各品类占比（说明大家想买的东西，便于后期铺货。）
23.每周广告点击率。（看到这个广告的人数/点击这个广告商品的人数）
24.vip用户每日，周订单总额
25.每日限时特卖产品占比（限时特卖产品总额/每日交易总额）
26.香港特快直送渠道总交易额占比（香港特快直送渠道总额/每日商品交易总额）
27.香港特快直送渠道总交易单占比
28.国内保税仓渠道总交易额占比（国内保税仓总额/每日商品交易总额）
29.国内保税仓渠道总交易单占比
30.各区域页面平均加载时长（考察各地区网络问题。后台访问是否稳定）
31.页面单跳转化率统计
32.获取点击下单和支付排名前10的品类
33.各类产品季度复购率