各种大数据概念笔记

各种大数据概念

1 数据仓库数据分层定义
1.1 方式1
宽表-topic
事实层-fact
基础整合层
1.2 方式二
ADS：Application Data Service，应用数据层
也可以称为或者发展为DM data marketing，供线上系统使用
CDM：Common Data Model

• DWD：Data Warehouse Detail，明细数据层。
  也有叫DWB data warehouse basic
• DWS：Data Warehouse Summary，汇总数据层。
• 公共维度表
  主要和OLTP的维度不一样，产商品定义-商家信息等可能也是维度表，建议维度不超过1千万
• 接口层数据
  ODS：Operational Data Store

2 数据剖析Data Profiling
2.1 Table Analysis
•Primary Keys (single or multicolumn)
•Key Duplicates
2.2 Column Analysis
Domain Values & Validation
Data Classification
Data Properties
Formats
2.3 Cross Table Analysis
•Foreign Key
Relationships
Referential
Integrity
Cross-Domain
Relationships
Data
Redundancy
2.4 工具
https://towardsdatascience.com/aweso