浅谈公司大数据平台的数据治理

近几年大数据风生水起，随着大数据业务的不断开展，各大互联网公司包括一些传统企业都越老越重视数据价值的挖掘。

一、数据治理模型

在公司的日常运行中，各种数据分析和数据挖掘技术，为公司发展决策和业务开展提供数据支持。以某互联网公司为例，公司内部也形成了一套完善的数据治理方案，核心就是由大数据平台+数据仓库+数据治理平台+数据监控平台来实现数据治理。

大数据平台支撑整个大数据的运行环境
数据仓库整合各个业务线的数据，消灭数据烟囱
数据治理平台提供统一指标管理、统一维度管理、统一数据出口管理
数据质量负责监控数据资产质量状态、持续推动数据质量监控优化预警、实时监控预警

二、常见问题

公司业务的不断发展加快了数据膨胀的速度，数据不一致等问题也随之而来。同时业务部门的频繁增加和剥离也会对数据治理带来挑战。

例如：不同业务线之间没有统一的数据入口记录和加工业务的发展过程；不同业务线的数据分析人员、数据开发人员，不同产品线之间缺乏有效的沟通，人员的流动也会产生一系列对接问题。

各个数据平台和业务系统不同模块的指标定义不一致
相同指标名称对应计算口径不一致
指标数据来源不一致

上述问题最终带来的后果就是指标数据可信度低，从而严重影响数据分析决策。

数据治理不仅需要完善的保障机制，还需要具体的治理内容，比如我们的数据怎样规范、元数据怎么来管理、每个过程都需要哪些系