在数字经济高速发展的当下,数字化转型已经成为企业生存发展的必经之路。“数字化转型”是IT技术发展到一定阶段的产物,是构建数据基础设施、驱动业务运营、支撑智能决策的发展模式。“数字化”起步于信息通信技术在商业中的应用,大致可分为三个阶段:信息化阶段、数字化阶段、智能化阶段。
三者并非独立存在,而是步步深入相互融合、滚动发展。信息化时代是基于传统IT架构的信息化管理,借助信息技术将线下数据可视化,提高信息同步效率;在数字化阶段,消费者与企业的交互方式从线下转移到线上,大部分的企业经营决策都先在数字世界中进行结构化处理后,由人指挥设备和机器完成操作;而到了智能化阶段,数字科技将以更加智能的方式优化企业经营场景,将人类经验作为”先验“,利用人工智能等技术优化资源配置效率,实现智能决策,为企业创造更大的竞争优势。
据Gartner公司的测算,到2030年,智能决策将超过所有其他类型的人工智能活动,占全球人工智能衍生商业价值的44%。因此,“智能化”将为企业带来大量新机遇,并真实地创造新的业务价值。加速拥抱智能化,是新时期企业取得竞争优势的核心举措。
01 智能化面临的数据问题和知识问题
据艾瑞咨询2022年《中国商业数智化行业研究》报告表明,企业数据智能化需要“云大物智”协同联动,以云计算、大数据(湖仓一体)、物联网和人工智能为代表的前沿科技,在实际应用中协同联动、相辅相成,形成充满创新力和发展潜力的活性生态网络,为商业数据智能化提供数据、知识与决策模型等基础层的支撑。
这其中,云计算提供了IT基础设施和充足的算力;数据仓库和数据湖(湖仓一体)为数据治理和应用提供了处理海量、实时、异构数据的存储能力;物联网系统可以为企业提供数据采集和数据应用的触点和服务场景;人工智能则通过知识的输入和算法的优化,帮助企业在不同的业务场景下实现智能决策。
上述四点技术能力互为支撑,其中的重点是如何解决企业在数智化进程中面临的数据问题和知识问题,并在其基础上进行智能决策的探索和现有决策方法的升级。
1.数据的问题
数据对于企业发展的重要性已无需多言,然而,面对海量且不断增长的大数据,企业要解决海量多源异构数据治理的问题,以及数据价值无法及时体现的问题。
此外,数据质量差,维护代价高,也很容易使得“数据宝藏”变成“数据沼泽”。而传统的数据架构理念,如数据仓库和数据湖,是采用将数据从多个系统复制到一个集中式数据库,然后授权数据消费者访问该数据库的方式,这就面临着数据集中的安全风险、业务系统存储结构不一致和多云环境下异构系统数据集成代价巨大等现实问题。
因此,一种基于网络架构而非点对点连接处理数据的新方法——数据编织(Data Fabric)——越来越被业界认可,其旨在以较低代价实现多数据源统一,以开放民主的方式释放数据价值,并在系统内结合AI等智能化能力,使得系统可以持续优化改进。基于数据编织使用者直接使用数据分析结果并形成预测能力,辅助智能决策。
2.知识的问题
为辅助智能决策,在解决了数据问题实现分析能力之后,如何从数据中萃取出能够进行逻辑推算的结构化知识成为企业需要探索的另一重点。
一方面,企业需要更新技术手段。基于统一数据中心和强力算法的加持,企业通过数据挖掘,从海量数据中挖掘知识,并结合机器学习优化形成知识图谱,创建一个知识网络来为组织业务提供动力,形成对业务分析和预测能力的有效接入,并为决策提供有力支持。
另一方面,商业问题的分析和决策必须基于业务价值,所以数据挖掘目标必须是业务目标的映射,这也就意味着基于人类经验的业务知识和基于算法的数据挖掘在企业决策中缺一不可。业务目标是核心,数据挖掘是实现这个目标的过程。
在这个过程中,数据仅能表示显示的一部分,并不完善。Alan Montgomery在20世纪90年代认为这是一种“鸿沟的表现”(chasm of representation)。他指出数据和现实世界是有差距(或“鸿沟”)的,因此在数据挖掘过程中,需要用业务知识来弥补这一差距。只有使用业务逻辑解释数据现象才能形成业务指导价值。人类的的经验知识将作为“先验”,与数据挖掘手段共同解决数字化发展中的知识问题,两者相辅相成。
综上所述,在企业数字化转型的漫漫长路中,每天面对海量的多源异构数据,企业需要不断优化数字技术并强化专业知识,同时探索使用智能高效的决策方法。
面对这些挑战,数势科技选择了在数据编织(Data Fabric)和决策智能(Decision Intelligence) 两个前沿技术领域进行实践探索,帮助企业在更便捷地治理和分析大数据的同时,挖数据背后的决策价值。
02 数据编织让数据价值最大化
Gartner 在《2022年重要战略技术趋势》报告中提出,数据编织是一种跨平台和业务用户的灵活、弹性数据整合方式,能够简化企业机构的数据整合基础设施并创建一个可扩展架构来减少大多数数据和分析团队因整合难度上升而出现的技术债务。本质上,数据编织能够最大化实现数据价值,在形式上,它强调「灵活」、「民主」和「智能」。
具体而言,数据编织的关键原则之一是数据集成方法的灵活性,即系统根据场景的性质和需求为用户自动匹配最佳的集成策略和数据技术,无需用户人工搭建数据管道及选型计算存储方案;
其次,数据编织致力于实现数据民主化,允许业务用户轻松发现并使用数据资产,从而实现敏捷的数据交付。在现有集中式的数据供给模式下,数据工程团队成为影响数据化运营效率的最大瓶颈,唯有让分析师和业务人员“自服务”才有可能将生产力解放出来,满足业务旺盛的数据化运营需求;
最后,由于传统数据治理往往在问题发生后才开始启动,且需要自上而下通过运动式人工治理来推动,但这种方式难以持续且越来越无法应对快速膨胀、错综复杂的数据网络。因此,数据编织强调数据治理应更加主动和智能,通过主动元数据构建智能治理能力,并融入到数据全生命周期的每个环节里,实现主动、智能的数据治理。
数势构建了以数据编织为架构理念的数据智能中枢:
首先,通过连接各种结构化和非结构化的数据源,包括数据库、数据仓库、数据湖等等,自动识别并获取元数据,然后基于元数据对数据仓库和数据系统进行血缘构建、健康诊断和自动优化,让数据系统持续健康运转。
然后,通过湖仓一体的技术架构,构建流批融合的数据接入和数据处理链路,提升数据的时效性。之后,将数据转换为知识,构建场景化的知识图谱和数据模型,更好地帮助企业实现数据价值的最大化,不断提升预测效果;
最后,面向所有类型的数据用户,提供一站式数据服务和自助接入的能力,包括:数据科学家、数据分析师、数据集成专家、数据工程师等,既能够应对专业IT 用户的复杂集成需求处理,也可以支持业务人员的自助式数据分析和应用,实现数据的民主化。
03 先进算法与业务场景相结合的决策智能
1.决策智能的三个阶段
中国科学院自动化研究所徐波所长认为智能是能在一种不确定的环境中做出合适的行动,或者做出合适的选择和决定的能力,那么决策智能就是选择能达到最优目标的策略。根据功能目标,数势科技将决策智能的发展分为主要三个阶段:
第一阶段“描述”(Descriptive Analytics),是专注于收集和汇总,通常描述性分析专注于历史数据,提供对理解信息和数字至关重要的上下文,为进一步分析和理解奠定了基础。代表技术是BI (Business Intelligence)即商业智能,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。
第二阶段是“预测”(Predictive Analytics),是通过分析当前数据和历史数据,从而对未来的事件做出预测。预测性分析会运用机器学习和统计建模等分析技术来帮助企业识别趋势、行为、未来结果和商机。代表技术是AI(Artificial Intelligence)即人工智能,能够更全面地理解可用数据,并通过预测,自动执行过于复杂的任务或常规任务,提高企业效率。
最后是“决策”(Prescriptive Analytics)阶段,它会告诉用户应该做什么以得到最优的结果。原理是运用数学模型或智能优化算法,对企业应该采取的最优行动给出建议。代表技术就是DI (Decision intelligence)即决策智能,帮助企业选择最优方案,例如采用数学模型确定最优的商品定价以实现利润最大化。
因此,决策智能便是利用了机器学习、算法模型等技术结合人类的知识经验,在众多决策变量中选择最优方案的方法论,优化了决策的质量和速度。
2.决策的方法
企业在经营中会面临各种各样的决策场景,比如说明年是否要新建一座工厂,一笔紧急的订单是接还是不接,下个月做什么形式的营促销活动,一组优惠券要发给哪些用户等。
决策通常是一个权衡的过程,决策者需要对各种选择的利弊、风险做出权衡,以期达到最优的决策结果。因此,决策的关键在于能够准确地预知各个选项所产生的最终业务效果。在智能决策中,我们链接各种相关数据和先验知识,构建智能决策模型,来对各种选项所产生的最终业务效果进行分析评估,并形成最优的决策方案。因而,智能决策模型是智能决策中的核心技术,是数字时代企业的核心生产力和新动能。
针对具体的决策场景和业务目标,数势科技研发人员在业务know-how的基础上,关联数据,挖掘知识,建立模型,开发算法,来满足不同业务场景的个性化需求。
譬如,在企业经营过程中,利用因果推断模型实现指标归因场景的需求;在用户运营的场景下,利用深度学习模型完成核心种子人群扩散,再采用强化学习模型针对不同人群需求制定不同的营销策略;在供应链领域,使用运筹优化模型解决库存优化决策场景,使用仿真分析模型赋能供应链what-if分析场景决策等。
这些决策方法以及其对应的业务场景,都体现了数势所倡导的理念:决策智能是建立在丰富的业务Know-how和先进的算法基础之上的,二者缺一不可。
04 数据编织+决策智能,为企业数字化转型带来价值飞跃
从信息化时代到数字化时代再到我们已经逐步迈入的智能化时代,企业数字化转型本质是决策方式的升级,是一个由人的经验决策到机器辅助决策再到人机协同智能决策的过程,核心是帮助企业挖掘数据现象背后的决策价值,从而规避经验陷阱。
一家企业机构的决策能力是其竞争优势的重要来源,而技术能力与智能化理念是提升决策能力的核心要素。数据编织通过强大便捷的数据能力为组织决策提供依据,决策智能为企业实现策略最优选,提升企业经营效益。
数势认为,数据编织和决策智能是企业数字化转型迈入“智能化”阶段的重要技术原力。具体而言,一方面,基于数据编织的架构理念,数势构建了数据智能中枢,完成主动式元数据治理和优化系统,支持自助式接入的统一数据服务,提供了企业级数据资产管理平台和流批一体的数据集成和开发平台;另一方面,数势将前沿技术与业务场景相结合,通过丰富的业务Know-how和先进的算法模型,助力关键业务场景的决策智能化。
数势相信当企业数字化转型在迈入“智能化”的过程中,商业数据智能的能力将越来越多地赋能执行层面,并将再次为数字化转型整体带来价值飞跃。