数据技术和应用发展趋势
结合以上对行业发展背景的理解,下面总结一下笔者对未来几年金融行业的数据业务发展趋势的认识:
趋势一:大数据服务的平台化和组件化策略是大数据架构的核心。
①大数据产品研发领域出现处理各种类型数据和满足各种分析处理场景的差异化组件。
②大数据云化策略:数据存储和计算能力组件依然是以非虚拟化的分布式集群为主,而数据分析探索和可视化逐步走云虚拟化路线。
③企业大数据平台不是一个平台,而是按照作业特征由不同组件组合的多平台体系,部分小企业可以考虑将多类型相关性作业整合到一个平台完成以节省投资。
④分布式数据库仍然是处理结构化数据复杂关联分析类任务的主流工具,短期不会被替代。
⑤大数据组件在不断发展过程中,企业应用要维系一个稳定平台框架,又要保证框架随着发展不断被更新升级,所以需要有一个基础框架维护团队,或者依靠外部合作长期维护基础框架。
⑥开放开源仍然是主旋律。
⑦贸易关系影响下,国有单位的国产化推动加速,金融机构被要求加快步伐,这方面需要提前布局。
趋势二:数据应用呈现多样化、广泛化和规范化的趋势。
①传统数据的计量和分析仍然是金融机构使用数据的最大领域。由于经济形势走向和监管压力,风险计量和流动性计量能力是金融行业的生存之本,也成为金融机构的核心竞争力,资金无论是通过债权还是股权运营获利,风险管控都是核心要素。
②监管应用会持续不断增强,以防范行业系统性风险。在近些年的逆全球化潮流下,外汇流动监测和反洗钱要求会持续增强。
③实时风控和反欺诈已经成为金融领域这几年大数据实时计算被大规模使用的主要场景。
④金融服务于实体经济,对公业务需要从产业和供应链入手,对私业务需要从生活场景化入手,而银行以此增强获得优质客户能力,亦需要大量外部数据的合作。
⑤外部数据合作已经呈现并继续向理性化状态发展,表现为趋向以数据服务产品的服务调用为主,而不再是机构之间的简单数据交换。监管和市场两个方面都会促使数据产品服务规范化,逐步杜绝侵犯个人隐私的行为。
⑥基于应用场景的内外部数据整合策略已经成为共识。
趋势三:需基于技术架构策略和应用格局适度优化和调整数据架构。
①在国家大数据战略和数据技术成熟的大环境下,无需质疑企业级数据基础整合的重要性和必要性,但在各行业和机构不同的管理成熟度和技术成熟度执行,也不需要强求达到某种程度,而是应按照需求进行适度整合。
②持续重视面向业务访问的共性加工处理以及支持多业务领域的数据基础产品加工服务。共享加工源自于共性需求提炼,事实上,在数字化时代,企业信息化应用中如果缺乏专门的共性加工需求提炼,未来很难支撑有效和高效的管理。
③数据分层架构合理存在,不同的架构层次借助于不同的模型策略解决不同的问题。数据多平台化长期存在,而由于每个平台都可以有自身合理的数据架构设计,因此数据在企业内势必是适度冗余的,冗余的代价就是在维系一致性方面的考量和投入。
④需要考虑基于不同的数据特征、数据存储和访问特征选择对应的数据存储、计算的引擎组件化策略。
趋势四:新的数据技术和价值挖掘需要持续主动的探索。
①金融机构需要充分认识传统的数据挖掘、外部机构的OCR引擎调用、机器学习平台、深度学习各自的技术本质和能力,分别为金融机构解决什么问题逐步摸索探明。不能停留在概念追逐层面还是要看业务针对性的价值。
②人工智能从支持计量发展为嵌入业务场景的智能化服务,这也是一个从应用场景上不断进行的技术探索和增强过程。OCR相关调用对于金融机构只是低级应用水平阶段,而要发展到高级水平阶段,需要自身管理决策水平和数据探索能力的增强。
③知识图谱管理在数据应用后期会成为关键因素,越早开始积累自身业务和管理知识图谱的企业,后期收益越显著。
④回顾去年的前瞻性预判:实时计算、人工智能、知识图谱三个领域都基本符合实际状况。按顺序,越靠前的越偏于战术层面投入,越靠后的越属于战略层面的重要考量,价值释放时点由近及远,战略层面无疑需要长期坚持的投入。
趋势五:数据应用反向驱动的数据资产管理发展是必然路径。
① 数据标准定义是基础。大型金融机构,在主体足够重视的前提下,形成企业自身的数据标准仍然是必选动作;中小金融机构则趋于采用“重要标准自己制定,其他标准外部参考”的策略,逐步推动数据标准的落地。
②大型金融机构着眼于未来数据业务整体能力的持续提升,将需要考虑或开始启动构建自身的企业级数据参考模型。
③数据管控治理体系的建立是数据资产管理落实的保障,前者需要按照具体治理领域逐步建设和增强。
④外部数据将被纳入数据管控治理范畴,但是需要按照内外部数据特征进行差异化管理。
⑤金融机构必须持续关注行业管控治理体系的系统性推动,关注数据治理和监管业务的结合,关注外部治理要求和内部治理诉求的结合。
趋势六:金融行业将更加重视数据人才培养和组织建设。
①金融企业需要从数据开发、数据管控、数据分析服务三个领域持续不断的进行人才培养和队伍建设。
② 随着团队扩展,金融企业可以考虑将数据管控和数据分析团队适度与技术架构和开发团队剥离,加强数据管控和数据分析应用。
③部分金融机构已开始考虑独立的外部数据管控团队,实行外部数据统一需求管理、获取、整合、应用、价值评估的集中管控策略。
④国内即使发达金融机构的专业数据分析团队和国外先进机构相比在团队规模上还有很大差距,需要进一步加速人员培养。
⑤数据分析团队的培养,除了技术、分析算法外,业务知识的积累仍是最重要的。所以企业业务知识管理体系的建设和传承机制将成为数据分析团队在规模化过程中必须思考的体制和执行问题。