为什么传统数据中台搞不下去了

为什么传统数据中台搞不下去了_第1张图片

现在大厂又开始拆中台了,传统行业中很多企业花大价钱构建的数据中台要么是成为一个摆设一个玩具,要么就处于“IT疲于应付、业务极度不满、数据质量混乱、开发成本周期失控”的窘境。

最近两年沟通过很多数据中台的甲方负责人和乙方承建团队,他们是目前IT圈最苦逼的一群了,聚集了整个企业的数据复杂性和变化性,开发架构和语言却完全延用了40年前的以SQL为基础的过程碎片化开发架构,很难想象以SQL为基础的黑盒开发架构能够支撑数据的产业化、规模化应用进程。

单说血缘解析吧,这个东西是伴随数据仓库而产生的整个行业见怪不怪的概念,各个团队开发了百万行、千万行、亿行、十亿行的SQL代码,最后搞不清楚每个指标的加工数据来源了,然后就开发了一系列工具去解析这些冗长的、碎片化的(业务逻辑原子性被破坏的)、黑盒化的SQL,希望能弄清楚数据的加工大致血缘,解析难度很大,而且没有一家厂商敢保证解析的百分之百准确。

为什么传统数据中台搞不下去了_第2张图片

血缘解析这个东西映射到现实生活中差不多就是亲子鉴定,设想一下,如果这个社会的大多数孩子都需要通过亲子鉴定来确定血缘关系,这个社会会乱成什么鬼样子?

现在的数据仓库、数据中台、大数据平台的数据处理过程就是这么乱,这么黑盒化,不客气的说,这些黑盒化的、碎片化的、反原子性的架构可以称为“混账架构”,存在诸多难以解决的问题:

  1. 可读性差
  2. 可维护性差
  3. 可测试性差
  4. 共享性差
  5. 协作开发困难
  6. 可持续性差
  7. 不透明
  8. 不可信

你很难想象以混账架构去支撑大数据的产业化进程。

我们的观点是,不解决碎片化问题,继续以这种破坏业务逻辑原子性为基础的架构做的各种努力都是白费功夫。不解决业务逻辑的原子性问题,数据中台就是一个数据坟墓

你可能感兴趣的:(大数据,sql,数据仓库,数据库开发)