数仓分层结构

 --图片来源尚硅谷

ODS层：

数据存储格式：JSON/TSV+ gzip压缩（默认）

Operate Data Store

-- 存储从mysql业务数据库和日志服务器的日志文件中采集到的数据

        -- 日志数据

                -- 格式:JSON

        --业务数据
                --历史数据
        -- 格式:
                -- 全量
                        -- Datax : TSV
                -- 增量
                        -- Maxwell : JSON

-- 汇总数据
        -- 希望用最少的资源存储最多的数据
                -- 压缩：

                        -- gzip：Hadoop默认支持的，压缩率极高，压缩效率不高

                        -- Izo：Hadoop默认不支持的，压缩效率高，压缩率高
                        --snappy ：Hadoop默认不支持的，压缩效率极高，压缩率不高

DIM层：（维度层）

数据存储格式：orc列式存储+snappy压缩

Dimension :维度
--所谓的维度其实就是分析数据的角度
--维度层保存的表其实就是分析数据的角度表
        -- 性别
        -- 年龄
        -- 品牌
        -- 品类
--维度层保存维度表，所以建模理论应该遵循维度建模理论

        -- 维度层中的维度表，主要用于统计分析
                --数据存储方式应该为列式存储: orc
                --数据压缩效率越高越好(时间短) : snappy

        --数据源
                -- ODS层的数据为整个数据仓库做准备
                -- DIM层数据源就是ODS层

--命名规范
        -- 分层标记 (dim_)_维度名称_全量/拉链(标记)
                -- 全量: 维度表的全部数据
                        -- 状态数据为了避免数据出现问题，最好的方式，就是每一天都保存数据
--建模理论

        --ER模型
                -- ODS
        --维度模型
                -- 维度(状态)表
                --事实(行为) 表

DWD层：（明细层）

数据存储格式：orc列式存储+snappy压缩

Data Warehouse Detail
-- detail : 详细，明细

• 对ODS层的数据进行加工，为后续的统计分析做准备
• DIM层主要功能其实是分析数据:面向状态
• DWD层主要功能其实是统计数据: 面向行为
• DWD层的表中主要保存的就是业务行为数据,表的设计需要遵循建模理论 - 维度建模 - 事实(行为)
• 数据存储格式:列式存储
• 数据压缩格式: snappy

命名规范
--分层标记 (dwd_)+ 数据域(分类) + 行为 + 全量/增量

        --原则上来讲，所有的行为都应该是增量数据
                --特殊情况下，会采用全量方式实现行为统计。

DWS层：（汇总层）

数据存储格式：orc列式存储+snappy压缩

Data Warehouse Summary

-- Data Warehouse : 数仓库

-- Summary : 汇总 (预聚合)

--用于将DIM，DWD的数据进行提前统计，将统计结果保存到当前的表中。
-- 所以当前的表不是最终的统计结果表
        --数据量就可能有点多。表的设计中应该添加分区
        --当前表需要进一步的聚合处理，所以表的设计中应该是列式存储，且采用snappy压缩

--表的分类:根据数据范围进行分类
        --1d:1天的数据的统计
                数据来源为DIM，DWD
        -- nd :N天的数据的统计
                数据来源必须为1d表
        --td : 所有数据的统计
                数据来源可以为1d表
                数据来源也可以为DIM，DWD

--表名
         --分层标记 (dws_)+ 数域 + 统计度 + 业务过程 + 统计周期 (1d/nd/td)

                -- 指标: 客户想要的一个统计结果 (数值)
                        --业务过程相同:数据来源相同
                        --统计周期相同:数据范围相同
                        --统计粒度相同:数据含义相同

ADS层：

-- Application Data Service
        -- Application : (数据仓库)应用
        -- Data : 用户需求的统计结果数据
        -- Service :对外服务
1. ADS层保存的数据是最终的统计结果，无需做进一步的计算

        -- 不需要列式存储，也不需要snappy压缩
2. 统计结果的目的是对外提供服务，所以表不会最终数据的存储位置

        -- 需要将表中的数据同步到第三方存储(MYSQL)
                -- ADS层的表最好是行式存储: tsv (DataX)
                --压缩格式采用gzip
3. 统计结果的数据量不会很多
        -- ADS层的表无需分区设计
4. 表的设计
        -- ODS层:表的结构依托于数据源的数据结构(ER模型)

        -- DIM层:遵循维度模型的维度表的设计理念(维度越丰富越好)

        -- DWD层:遵循维度模型的事实表的设计理念(粒度越细越好)

        -- ADS层:客户要啥你加啥，不要额外添加

基础概念
        维度: 分析数据的角度
        粒度: 描述数据的详细程度
        统计周期 : 统计的时候，数据统计时间范围

        统计粒度 : 分析数据的具体角度，称之为统计粒度(站在哪一个角度统计数据)

        指标: 客户想要的一个结果数值

指标体系：

-- 原子指标(拆分指标)
        -- 行为，统计字段，统计逻辑
--派生指标(增加条件)
        -- 统计周期(范围) + 业务限定(筛选条件) + 统计粒度(分组维度)
--衍生指标(比率，比例)