先行试点,创新改造:中信期货关键业务系统自主可控的实践之路

文 / 中信期货金融科技委员会 李欣、农国苏

来源 / 金融电子化

 

2021 年 10 月 21 日,《证券期货业科技发展“十四五”规划》正式发布,进一步强调“十四五”时期信息技术对证券期货业的支撑、创新和引领作用。

中信期货有限公司(以下简称“中信期货”)作为中信证券股份有限公司的全资子公司,积极响应国家信息技术应用创新产业的生态建设,率先制定实施方案,全面推进创新试点工作。“中信期货员工综合管理平台信创改造”项目凭借创新性与先进性,荣获“2022 第十三届金融科技应用创新奖”。

 

两年整体规划,全面提升信息技术自主可控能力

 

自 1993 年成立以来,中信期货一直注重信息技术投入,关注前沿技术趋势,鼓励业务创新,信息技术应用创新工作以“能用尽用、实用好用”为原则,在已开展的信息技术应用创新工作基础之上,再制定新的两年实施方案——计划在 2022-2023 年完成多个系统的改造或新建,从通用基础架构出发,在一般业务系统、核心业务系统等方面持续推进,保证各项目标落实,全面提升信息技术自主可控能力,确保供应链安全。

通用基础架构方面。2021 年,中信期货建设了虚拟化云平台和分布式数据库平台。2022 年计划分为三个项目:一是虚拟化云平台扩容项目,2023年持续扩容;二是容器云平台项目,计划 2022 年底一期建成投产,2023 年持续扩容;三是蓝光数据中心网络建设项目,计划 2022 年底一期建成投产,2023 年进行后期扩容。

一般业务系统方面。 计划在 2022 年完成中信期货员工综合管理平台、资产管理投研业务支持系统、出入金管理平台等的改造适配工作;在 2023 年完成中信期货门户网站、统一消息发送和处理平台、集中运营平台系统的改造适配工作。

核心业务系统方面。 计划在 2022 年开展飞马交易系统的改造适配工作;在 2023 年完成 APP(全功能版)、飞创 x-one 交易系统的改造适配工作,对于 CTP 综合交易平台,在测试环境进行信息技术应用创新改造。

中信期货员工综合管理平台是提供企业员工内部管理的平台,主要包括人力资源管理、员工绩效考核管理、培训园地、会议室管理、企业信息管理、新员工成长管理、疫情防控平台等功能。日均访问用户约 2000 人,特殊场景下并发数保持在 1200 以上。该系统的数据库适合在 Windows 操作系统上运行,且软件商没有开源计划,对系统的自主可控和数据安全带来诸多风险。此外,经过多年积累,该系统所采用的技术相对老旧,不利于扩展和维护,系统的全面升级势在必行。

综合以上考虑,中信期货决定将员工综合管理平台作为试点,先行改造,不仅包括系统架构、开发技术,还包括数据库,并决定将数据库升级至分布式数据库,逐步构建自主可控的 IT 底层构架和标准,有力保障信息可控与数据安全。

 

分布式数据库选型目标

 

随着信息技术的迅猛发展,各行各业产生的数据量呈爆炸式增长,传统集中式数据库的局限性面对大规模数据处理时逐渐显露,分布式数据库应运而生。分布式数据库是在集中式数据库的基础上发展起来的,是分布式系统与传统数据库技术结合的产物,具有透明性、数据冗余性、易于扩展性等特点,还具备高可靠、高可用、低成本等方面的优势,能够突破传统数据库的瓶颈。

中信期货在分布式数据库选型时看重以下四点:

第一,分布式数据库解决了传统集中式单机数据库扩展的问题,单机数据库面对海量数据在处理能力、存储能力、性能等方面都存在瓶颈;

第二,分布式数据库需要解决数据一致性的问题,数据跨的节点越多,风险就越高;

第三,分布式数据库的高可用能力保证不会因为单点故障而影响整体的可用性,这保障了金融、电信等对高可用需求较高业务的连续性;

第四,应用存在波峰波谷,分布式数据库通过灵活扩展的设计做到了成本优化。

结合以上四点,再从应用场景、性能、有无金融案例、市场占有率等因素综合考虑,相较于其他分布式数据库,OceanBase 立足于 TP 领域,不断强化 AP 能力,走向更全面的场景,这是一个关键的立足点。同时,这也是中信期货坚持的设计理念,尽量把复杂性从用户侧向数据库侧转移,对外呈现的是 OceanBase 对用户的应用兼容,包括语法、语义以及存储过程等高级能力的兼容,让用户快速、透明迁移至 OceanBase 。

 

新老双系统同步创新改造实践

 

员工综合管理平台的改造实现在新老双系统同步的前提下进行,需要满足分布式数据库(OceanBase)、传统数据库双数据库和操作系统(麒麟操作系统)、传统操作系统双操作系统模式下互相兼容,采取“鱼”和“熊掌”兼顾的策略,保证迁移风险可控。

中信期货借助 OMS(OceanBase Migration Service,数据迁移工具)一站式进行数据迁移、实时数据同步和增量数据订阅。 OMS 具备可视化的 Web 管控平台,可以很轻松地完成数据传输项目的创建、任务配置和传输组件的监控运维。此外,多种方式的数据校检,确保中信期货在迁移过程中的数据正确性。

结合员工综合管理平台现状以及考虑未来其他业务系统的可复制性,经设计,该系统的数据库集群采用“一中心三副本”的方式搭建,主从副本之间通过基于 Multi-Paxos 的分布式共识协议实现了副本之间数据的一致性。当主副本所在节点发生故障时,一个从节点会被选举为新的主节点并继续提供服务。同时,数据库使用物理备份的方式做数据库备份与恢复管理,采用 NFS 作为备份介质,从而保障数据库的高可用性。除此之外,该项目还有以下两大创新点。

  • 创新点一:系统架构从 WebForm 调整为 WebAPI 实现应用程序跨平台部署

员工综合管理平台最早采用的是 ASP.NET WebForm,是当时最流行、最前沿的技术架构。但时过境迁,目前不仅技术老旧,会这方面技术的人才很少,而且维护繁琐,工作量大,不易于扩展。经过多次讨论和可行性研究,中信期货确定用 ASP.NET Core WebAPI,前端页面用 Razor 语法。之前的架构只能在 Windows 上部署,现在的架构基于.NET6,可以跨平台部署,并且做到了前后端分离,将 API 剥离出来,可以做到网站、APP 和其他应用公用一套。

  • 创新点二:数据访问层采用数据工厂模式,支持多数据源

数据访问层用 ADO.NET 实现,未改造前只支持 SQLServer 数据库,改造后应用到数据工厂模式,中信期货对几个主流数据库都做了兼容适配,既能支持 SQLServer,也支持 OceanBase、MySQL、Oracle 等。这样把业务逻辑、数据源做隔离,互不影响,给之后的变更和扩展提供了更大的便捷与操作空间。

在该项目过程中,中信期货总结出一些切实可行的实践经验,供行业参考:

  1. 结合原项目实际情况和要实现的信息技术应用创新目标,制定一个总体的改造方案,利用实际资源先做小型实例,全过程分析、讨论,确保整体方案具有实际可操作性;

  2. 对系统做分解,如前端、后端、数据库,测试原系统重要技术点,各个突破,由点到面,确保所有点都有切实可行的改造方案;

  3. 若原系统的代码能用得上,尽量不要全部推翻,在原有的基础上改造即可,这样能减少工作量;

  4. 改造过程中和改造完成后一定要多测试,大量的问题都是在这个过程中发现的;

  5. 一定要模拟上线,测试稳定性,并且最好是和原系统进行对比。这样一段时间后,即可确保整体稳定没有问题。

 

试点成效显著,OLAP性能提升5~6倍

 

2022 年 11 月 30 日,历时 7 个月,该项目正式投产上线。依托自主可控的服务器、操作系统、中间件、芯片、数据库终端及相关软件为主要载体,中信期货实现员工综合管理平台的分布式升级,通过对 IT 硬件、软件各个环节的重构,实现信息技术系统全面自主可控,达成完全自主化改造目标。此次改造,从根本上解决了过去员工综合管理平台旧有的安全性、可掌控性、可研究性、发展性等诸多威胁。

中信期货员工综合管理平台的数据库使用 OceanBase 分布式技术和无共享架构,数据可以自动分散到多台数据库主机上。同时,采用普通 PC 服务器作为数据库主机,可以自由地对整个分布式数据库系统进行扩展,既降低了成本,也保证了可以无限的水平扩展。

借助 OceanBase 原生分布式数据库引入 Paxos 协议,保证分布式事务的一致性,即数据库系统中数据以备份的方式存储于多台机器中,当其中一台出现故障时,其他备份仍可以使用,并根据系统日志来恢复故障前的数据。由此,中信期货实现了数据零丢失。

性能方面,借助原生分布式架构,同等硬件环境下相比原数据库,中信期货实现 OLTP 性能提升 1.9 倍、OLAP 性能提升 5 ~ 6 倍、综合读写性能(Read Write)提升 1 倍、TPC-H 查询性能提升 5 倍等显著性能提升。

中信期货作为期货行业首批信息技术应用创新试点单位,切实参与信息技术应用创新产业链的发展。通过“中信期货员工综合管理平台信创改造”项目,以及其他业务系统等场景进行信息技术应用创新转型实践,中信期货为行业新增了一个又一个成功案例。

未来,中信期货也将持续落实核心技术自主可控,积极成为重塑中国 IT 产业基础中坚力量的一份子。

你可能感兴趣的:(客户案例,oceanbase,大数据,数据库)