支付宝资深技术专家尹博学：新一代金融核心突破之全分布式单元化技术架构...

过去几年是云原生理念高速普及的黄金时期。微服务、容器、无服务器架构、服务网格等新技术的出现，在技术社区中激起了一浪又一浪的创新热潮。然而由于金融行业对性能和安全的严苛要求，云原生技术在企业实际场景中的实施落地，特别是在金融场景的实施落地，仍然面临诸多挑战。

 

本文整理自2020阿里云线上峰会蚂蚁集团资深技术专家尹博学的主题演讲，为大家分享蚂蚁关于金融级 IT 架构及分布式架构的思考和应用实践。关注本公众号，蚂蚁 SOFAStack 白皮书即将发布，不要错过哦～

以下为演讲整理全文：

 

大家好，我是蚂蚁集团的尹博学，今天和大家分享一下蚂蚁关于金融级 IT 架构及分布式架构的一些思考和应用案例，主要包含三个部分，分别是行业常见的分布式架构介绍、蚂蚁单元化架构的介绍以及单元化架构的应用案例。

 

行业常见分布式架构

行业常见的分布式架构主要包含，单活架构、双活架构和冷备架构。从容灾能力角度来看，双活架构和冷备架构均能做到应用级跨机房容灾，但是数据库因为使用了异步复制的技术，无法做到机房级 RPU=0 的容灾。再看灰度发布的能力，冷备架构和双活架构都只能做到机房级灰度发布，无法做到更细粒度的灰度发布。

 

蚂蚁集团单元化架构介绍

在介绍完行业常见的分布式架构后，我们来看一下蚂蚁的分布式架构发展历程，和单元化架构的详细介绍。

 

这是蚂蚁分布式架构发展历程。蚂蚁也经历了单活、同城双活、两地三中心三个阶段。其中两地三中心是同城双活加一个冷备。随着蚂蚁业务和业务量复杂度的越来越高，业务对于基础架构的要求也越来越高，即扩展能力、容灾能力、灰度能力要求越来越高。最终蚂蚁发展到了单元化架构，将主要业务拆分单元即分片，装入不同的逻辑单元内，每个分片的数据库实现三地五中心部署即三地五中心的单元化架构。

 

首先我们来看一下蚂蚁单元化架构的整体架构设计，整体架构包含 RZone、GZone 和 CZone。其中 GZone 部署的是无法拆分的数据和业务，GZone 的数据和业务被 RZone 依赖，GZone 全局只部署一份，而 RZone 部署的是可拆分的业务和对应的数据。每个 RZone 内的数据分片如图所示有五副本，实现三地五中心部署，每个分片内只有一个可写入的主副本，其余副本按照 Paxos 协议做数据强一致。每个 RZone 内实现业务单元封闭，独立完成自己的所有业务。而 CZone 的出现是因为 GZone 全局只有一份，不同城市的 RZone 可能依赖 GZone 服务和数据的时候需要远距离调用，延迟比较大，所以在每个城市部署一个 CZone 作为 GZone 的只读副本，为本城市的 RZone 提供服务。

 

 

介绍完单元化架构的整体设计之后，我们从容灾、灰度发布、弹性三个方面详细看一下该架构的能力。

 

首先看容灾能力，容灾能力分为同城容灾和异地容灾，以图中所示为例，RZone1 出现故障先看同城容灾能力，我们目标将 RZone1 切换至同城容灾 RZone2。先做数据库分片切换，RZone1 对应的分片为分片1，把分片1在 RZone2 的副本提升为主副本，数据库副本提升完毕后将 RZone1 的流量切换至 RZone2，实现同城容灾 RPO=0、RTO<1min。

 

再看异地容灾，同样以 RZone1 故障为例。目标切换至 RZone3，先做数据库切换，分片1在 RZone3 的副本切换成主副本，完成后将 RZone1 的流量切换至 RZone3，实现异地容灾，该过程 RPO=0、RTO<1min。

  

接下来我们看弹性。弹性的背景是业务在大促、节假日等流量出现大幅上涨的过程，我们可以短期租借新的城市和新的 IDC。如图所示，我们租借城市 X 的 IDCX 作为 RZoneX，将 RZone5 的部分流量弹出至 RZoneX，对应流量的数据也弹出至 RZoneX 内。在节假日大促结束之后，将 RZoneX 内的流量和数据弹回至 RZone5，然后回收 RZoneX，这样大幅节约了机房成本。

 

 

介绍完弹性之后，我们来看灰度能力。如图所示，我们将四个 RZone（RZone1、RZone2、RZone3、RZone4）的业务和应用分为 A、B 组，日常 A 组和 B 组各承担50%的应用流量。在应用新版本发布时，我们将 A 组的流量全部切换至 B 组，此时在 A 组上部署新版本，部署完毕后将 B 组的流量按粒度切换至 A 组上，切换粒度等于数据分片的粒度。在切换的过程中可以做 A 组和 B 组的服务对比，如果发现 A 组的服务异常，可以快速将流量切换回 B 组。在 A 组服务一段时间后无异常发生，最终可以将 B 组的流量全部切换至 A 组，把 B 组的版本更新为新的版本，在整个切换的过程中实现了可灰度、可回滚、可监控。

 

 

我们再深入到架构内部，来阐释一下架构内关键模块是如何支撑该架构的。

 

首先我们看流量路由模块。流量路由模块的核心是将用户的 uid 信息和对应的 Zone 信息植入到 cookie 中，供流量路由模块做精准路由。我们以用户 uid=68、RZone=RZ03 为例来看流量路由模块是如何工作的，首次用户接入时 cookie 内无 Zone 信息，流量接入模块会随即将该请求发到一个 RZone 内，如发到 RZone1 内，RZone1 通过 zoneClinet 会准确计算该请求应发至 RZone3，即通过 RouteClinet 将该请求发送。发送过程中将计算出的 uid 信息和对应的 Zone 信息植入 cookie 内转发至 RZone3，RZone3 完成本次业务请求后将结果返回给用户，其后用户同意 session 内的其它请求，因为在 cookie 内已经有了准确的路由信息，会被流量路由模块准确的发至 RZone3 完成业务请求。

 

  

接着我们再看一下服务路由，服务路由分为本机房服务路由和跨机房服务路由调用。先看本机房服务路由，服务调用端向本机房服务注册中心订阅服务，发现服务地址后做本机房服务路由调用。再看跨机房服务路由调用，服务调用端向其他 IDC 的注册中心订阅服务地址，发现服务地址后做跨机房服务调用。

 

最后我们看数据是如何实现高可靠的。蚂蚁使用自研的分布式关系数据库 OceanBase，每个分片的数据库做5副本部署，部署地域实现三地五中心部署，5副本中有3副本实现强一致，如图所示可以实现同城、IDC 容灾和异地容灾。

 

单元化架构实践场景

介绍完蚂蚁单元化架构的主要概念即关键模块信息之后，我们看一下单元化架构在外部客户实施的一些案例。

 

第一个案例是一家城商行，它的业务系统、IT系统历史比较长，无法一步跨越到单元化架构，我们为其推荐了大 GZone 的模式，即把城商行的所有服务和数据不做拆分，直接装入一个 GZone 内，在 GZone 的基础上实现同城双活即应用同城双中心部署，数据库同城三中心部署，从而实现同城容灾能力，RPO=0、RTO<1min，但无法实现异地容灾能力，其可灰度能力和弹性能力都无法做到更细力度。

 

再看第二个区域银行的案例。我们为这家区域银行实现了同城单元化，即将这家区域银行的主要业务拆分成两个逻辑业务单元两个分片，将其装入一个城市的两个 IDC 内，在另外一个城市建设冷备，其数据库每个分片实现5副本部署，其中4副本在主城市两个中心内部署，1副本部署在了本机房内。该架构实现了同城容灾能力，同时也实现了细粒度的灰度能力和弹性能力，但同样无法实现异地容灾能力。

 

 

最后我们看一下蚂蚁网商银行的案例。网商银行实现了异地多活单元化完整的架构，网商银行的主要业务拆分成了4个分片，装入4个 RZone 内，这4个 RZone 分别部署在了两个城市内，各承担25%的流量，而数据库实现5副本三个城市部署。其中提供服务的两个地域两个城市部署4副本，远端部署1副本。该架构实现了同城容灾、异地容灾，同时也实现更细粒度的灰度能力和弹性伸缩能力。

 

 

介绍完这三个案例后，我们看到了单元化架构的一个灵活性，既可以大 GZone 部署，也可以同城单元化部署和异地多活单元化部署。今天我们介绍了蚂蚁集团架构的发展历程即单元化在一些关键外部客户的应用案例。

 

我的介绍就到这里，谢谢大家。

加入我们

蚂蚁集团-商业化产品专家

 

工作地点：杭州、上海

 

岗位职责：

1、对金融科技或云计算相关领域熟悉，结合行业发展趋势及业务战略方向对平台/行业产品的长期发展做出市场判断和业务规划，找到产品商业化的突破；

2、作为产品，协同销售、产品、研发、运营团队，推进重大产品项目的落地，拿到满足业务诉求的产品产出，并且能够以技术商业咨询的角度协同业务团队落地重要客户项目；

3、确保蚂蚁在金融科技领域中的产品行业竞争力和影响力，对蚂蚁产品的竞争力负责；

4、在产品相关的技术领域，完成竞争对手的动态和优劣势分析；

5、产品生态合作伙伴的建设和运营，结合行业生态，快速形成市场规模形成面向行业的场景化解决方案。

 

任职资格：

1、5年以上企业级产品设计、规划、和管理的工作经验 ，在产品决策、执行和愿景规划上有全面把控能力, 有国际化视野优先；

2. 深入理解云计算技术和云原生技术（如：微服务、Devops、K8s、Serverless等），熟悉业界主流云厂商 PaaS 平台和产品，了解其特性和各自的优劣势；

3、业务能力，对金融科技化有深刻的理解，熟悉领域内领先公司的业务及产品，对业务趋势有自己的见解和分析；

4、产品能力，能综合多业务的不同场景，形成产品设计和解决方案设计；

5、协同能力，具备良好的团队沟通协同能力，能推动多业务、角色的大型项目顺利推进，结果导向带领团队拿到结果；

6、技术能力，在深度学习、分布式架构、企业级应用平台，数据库、大数据等一个或者多个领域有深入研究和理解；

7、敬业精神及抗压能力，有 ownership，有很强的抗压能力和心力，能在关键时刻找到突破点。

 

简历投递邮箱：

[email protected]

本文归档在 sofastack.tech。