数据中台元年，企业数字化转型面临的三大挑战

随着企业信息化程度越来越高，企业掌握的数据量从原来的TB级发展到PB级，再到EB级甚至往ZB级别发展。数据形式也在从原来的结构化数据为主转变为以日志、视频、图片、语音等非结构化数据为主。

然而，数据存储和计算、数据组织的运行都是有成本的。当数据消耗成本较小时，企业通过设立独立预算的大数据项目即可应对。但是随着越来越多的数据产生且被应用，数据成本急剧增加，发展数据业务就必须被提升到企业数字化转型的高度，之前的应对策略便不足以应对。毋庸置疑，接下来，数据部门将作为一个业务部门长期存在，这就需要数据部门需要有尽量清晰的业务边界，有可控的投入产出。

同样的转型历程，奇点云创始团队在阿里巴巴时也是亲身经历。2013年，当数据应用不再以BI（看数据）为主，而是为核心业务（数据支撑广告投放更精准）服务时，存储优化和计算优化，以及整体有序的大数据业务规划便成为了当务之急。

过去三年，在帮助企业构建数据中台的实践中，我们提炼了企业数字化转型最主要的三大挑战（业务挑战、技术挑战、组织挑战），或者说企业必然会面临的三大困境，看看数据中台如何为企业发挥价值。

业务挑战：如何以大数据赋能，反哺业务精耕？

越是成功的企业，业务发展的痛点越难以单点解决，需要整体思考、科学决策、集体行动，在业务的创新中解决这些痛点。

比如，如何做好会员精细化运营？如何为门店挑选合适的商品且控制好库存？如何动态打折以至不损伤毛利等等，是摆在企业前面的一个个难题，直接影响到企业的规模扩展或者利润提升，也是企业迫切需要解决的问题。

这就需要构建数据中台，通过大数据赋能业务。

相比传统数据业务，大数据业务的优势在于，通过整体规划智能化的数据应用，来推动业务创新。这就是企业数字化转型的业务内涵。这些数据智能应用需要将业务经验和解决方法论、全域的数据模型，与算法模型相结合，我们称之为“业务智能模型”，它的价值在于“降本增效”。

在奇点云过去三年的数据中台实践中，我们发现这些业务智能模型遍布在整个零售产业上下游。比如通过全方位的数据反馈并指导买手做好选品；又如通过商品的聚类，发现某类特征的商品，可以优化打折速度和幅度，以此提高整体的折扣率从而增加毛利等。再比如，通过门店和商品数据，通过最优算法，解决“什么样的店铺类型应该铺什么商品”，以提升门店的顾客进店转化率，从而提升效益。

业务智能模型需要数据和业务系统深度结合，在运营工作中直接产生效果，让业务能够自动化、高效地运转起来。

技术挑战：如何高效的数据治理，远离数据“黑洞“？

要做好有价值的业务智能模型，离不开高质量、高可用的、全域的数据中台，数据治理就显得非常重要。“数据治理”是企业数字化转型中典型的大数据技术问题。

数据治理，解决的是“业务越来越复杂而数据现状的脏乱差”带来的挑战。*如何合理规划数据结构？如何规范定义数据？如何有效管理数据资产？如何安全分发使用数据？这都需要一套完善的数据治理体系，驱动企业数据化运营转型。

数据治理是基础，也制约了企业的数据智能化方向的发展，难以做到数据创新。从理念上来看，“治”不应只在事后，更应在事前，“理”考验的是业务与技术能力的结合。从实际内容上来看，数据治理是一套方法体系+工具集，旨在帮助企业合理的架构数据、规范的定义与加工数据、清晰的管理数据、安全的应用数据，促使数据从成本中心变成价值中心，驱动企业数字化转型。

奇点云总结了“数据治理的七个要素”如下：

1、数据的标准定义：数据维度及指标需要清晰的、统一的、标准的定义，如“最近一天门店在线上渠道的下单金额”。

2、数据模型的标准设计：按业务领域拆解业务过程，根据业务过程设计数据模型，好的模型标准是高内聚低耦合，能支撑未来扩展。

3、数据的规范开发与测试：在一定的编码规则下开发，确保代码质量的稳定性。

4、元数据的合理管理：数据的存储是需要成本的，需要合理的生命周期管理。

5、数据质量的保障：数据的可用性、可信度，均需数据质量保障，数据质量从上游采集、中间的数据加工，下游的数据服务都需要一套质量检测工具来保障准确性、完整性。

6、数据的安全管控：数据是企业的核心资产，数据安全上升为企业安全。数据安全包含数据的分级、敏感数据脱敏、分行列控制、高危访问实时告警、事后的安全审计等。

7、数据的合规使用：企业成立数据安全委员会，为数据的合规使用制定规范，必须在合规范围内安全使用数据。

组织挑战：如何深挖数据红利，成为业务创新“能手“？

从解决业务挑战和技术挑战出发，企业必须把数字化转型定义为战略问题，从而推动“数据中台”的落地，这也给企业带来了组织上的挑战。

一般来讲，传统的数仓解决方式有两大问题：一方面从业务系统直接计算数据，非解耦架构对业务系统影响极大。一方面基于DB构建的数据仓库，计算及查询效率难以满足业务数据膨胀的大趋势要求。解决这些问题，已经不是藏在“IT部门”的数据小分队这一组织形式所能够解决的。

2018年7月，阿里云总结了过去的成功经验，在业界大力推出“数据中台”解决方案，很好地解决了这些问题。奇点云提出的数据中台架构与设计，其出发点是支撑复杂的、多系统的、数量巨大的、多应用场景的业务形态。在组织层面理顺以下部门或团队关系，来解决企业在组织落地战略上的困惑：

1.与传统IT业务之间的关系：业务和计算分离，业务和数据分离

·大数据业务应与业务系统解耦，采用T+1离线计算方法产出结果数据，不直接在业务系统上进行数据计算，实现了业务和计算的分离、业务和数据的分离。

·大数据部门的工作起点是满足多种计算场景的需求。支持大数据计算，结合了多种计算引擎，针对不同的场景使用不同的计算引擎，如离线计算引擎、实时计算引擎、多维分析引擎、即席查询引擎、实时搜索引擎。

2.与业务部门的关系：站在企业视角打通数据，支撑业务部门用数据

·支持各种异构数据源打通，提供了一套基于reader和writer的抽象化数据抽取插件，除了提供系统自带的插件外，还支持自定义实现reader和writer插件，通过公共的管道，实现结构化和非结构化数据的互相传输，统一技术框架。

·支持业务部门的高并发多场景的实时查询，数据中台集成了基于分布式的KV查询框架，可以支持海量级别的查询请求，并且响应时间可以控制在毫秒级别。

·支持多场景的数据服务，灵活快速支撑业务需求，向导和自定义双模式快速生成API，实时监控API调用情况。

·面向业务部门，为业务部门的数据分析、开发提供培训和技术支持。

3.与合作伙伴的关系：找到数据部门的核心能力

·应该深入业务，影响业务效率。数据模型融合离散的业务数据，可借助数据中台快速构建数据模型，建立全方位的数据视角，消灭信息孤岛和数据差异，灵活支撑业务的变动。

·不应该在大数据平台建设、在很难培养的团队能力上下功夫（比如算法能力），尽量借用外脑。

某服饰K案例：

客户背景：想要通过数据智能化应用，提升管理效率，从集团CEO到各部门经理到一线店长，经营效率需提升，运营过程需要数据支撑，一方面是数据产出速度，一方面是缓冲的精准度。以及优化当前的人员排班，避免客流不大时过于饱和人效较低，高峰期时人员不够导致订单损失。

数据中台解决方案：构建集团/销售总经理/门店店长三层驾驶舱，拉通数据中台的建设，顺势统一指标标准、数据采集标准、建数据模型标准，驱动企业的数据上一个台阶，为后续的创新打下基础。

统一管理：企业管理行为落地KPI体系，KPI数据反映管理与经营的效率；

统一视角：一站式数据服务，从集团总裁，到分公司总经理，甚至到门店店长，都在一个系统中透视KPI、逐层从上到下穿透，直至发现问题。

统一口径：所有指标及维度必须标准化，包括命名规范、口径统一、数据模型统一，从而为指标解读有据可依。

智能排班：通过计算每人的绩效，结合到门店计算人效，聚类区分几类人效人群，得出中等人效即可服务号一般门店。同时预测门店未来的订单量，拟合中等人效水平，计算未来一周内门店各时间段需要的人力情况。结合门店和人员的区域化情况，从而实现了智能排班系统。

实施效果：上线后第一个月开始，集团高管月会，开始使用管理驾驶舱梳理盘点诊断业务；数据中台支撑的仓库单据从原来的10分钟降低到5秒，缓冲补货时间从30分钟降低到5分钟以下；上线3个月，离线的Excel模版报表，从500个降低到250以下；基于数据中台创新了智能排班系统、店铺前台商品推荐系统；技术人员从传统的Oracle存储过程过度到大数据平台，成长了数据模型研发与算法能力。智能排班上线，整体人员下降了10%（自然淘汰人效最低的人员），从而为公司每年带来大几千万的利润。

某母婴M案例：

客户背景：在企业运营效率低下，无标准数据体系及系统支持的情况下，企业所运营的APP千人一面，所有运营活动需要手工调整，几乎没有数据化运营。基本靠经验，影响用户体验，老客户复购率低。

数据中台解决方案：该项目分两期实施，一期规范采集，打通日志、交易、售后等数据，构建统一数据中台，建立标准指标体系，构建业务分析BI系统及一系列运营报表，支撑运营日常数据工作效率提升，快速洞察业务，驱动高效运营决策；二期构建会员、商品、店铺标签体系，增加实时日志采集，在购物主链路四个环节（首页-搜索-购物车-支付）做千人千面推荐引擎，提升用户发现感兴趣和可能需要的商品，提升新客户的转化率与老会员的复购率。

实施效果：上线了平台运营中心，支撑了所有运营日常数据工作；购物主链路个性化推荐，提升了新客户50%的转化率，提升了老客户80%的复购率；

我们认为，在AI驱动下的数据中台大有可为。所有的数据一定是基于数据中台形成一个业务闭环，把数据赋能给新零售前端的应用，可以帮企业真真正正实现自身的数字化转型。