简单的数据平台笔记

今天看了网易数据生产力实践的分享,简单记录一下笔记。

首先是网易的产品矩阵,很典型的大数据平台架构

简单的数据平台笔记_第1张图片

 比较有亮点的是 指标中台

指标中台定义的核心要点:

1、一次定义 多次复用

2、自动计算

3、集中管理

4、指标服务

主要解决的问题就是:指标口径不一致(业务口径or数据源不统一)、数据复用度低以及数据出口分散,不能统一管理。

指标中台的产品架构

指标中台首先要对指标进行统一的管理,可以进行分类、检索等功能。对同一命名的不同定义的指标进行区分等。

简单的数据平台笔记_第2张图片

 指标分类的定义

简单的数据平台笔记_第3张图片

 数据发布流程

数据发布流程的规范对减少线上事故有很重要的意义,例如 数据空跑、数据修改后ddl造成执行失败等

简单的数据平台笔记_第4张图片

 SQL Scan

SQL的智能检测不仅能够做到数据规范,而且能提高任务的执行效率

简单的数据平台笔记_第5张图片

 数据开发治理一体化

简单的数据平台笔记_第6张图片

 

你可能感兴趣的:(大数据)