数仓(二):数仓构建流程、数据中台建设

一、面临的挑战

        数据中台,目的总结下来一句话:通过服务化的方式增强数据的共享能力以实现数据的复用,解决数据研发、数据分析、数据运营时碰到的痛点问题

  • 指标口径定义不一致
  • 数据研发效率低问题
  • 数据质量问题频发
  • 大数据建设成本越来越高
  • 数据发现的能力低下导致数据好不好用的问题
  • 烟囱式开发模式

传统的数据研发效率低,都是接到需求,从底向上分层开发(ODS->DWD->DWS->ADS),压根没有考虑复用,有可能ODS层数据早就存在了,大量的中间表可以复用。

  • 数据治理缺失

谁访问了我的表,我的表在哪里,下线一张表也不知道谁使用我的这张表

  • 数据使用门槛高

业务部门要使用数据,要么提供标准的数据产品,要么采用SQL方式提数据,很多运营、产品不会写SQL,全部产品化投如太大还不能复用。

  • 缺少全链路的数据质量监控

大数据链路是很长的,重跑非常困难。

  • 无成本意识

为了快速出结果,没有考虑成本,不使用的资源没有及时下线。

  • 深层次原因

  1. 流程规范缺失:没有

你可能感兴趣的:(数仓&数据中台,数据仓库,大数据)