蚂蚁金服的 SOFAStack 作为一个成功地将企业私有项目转化为开源核心模式的知名案例,我们之前对背后的思考和推动力做过专题分析,但是具体这件事是如何在蚂蚁金服内部发生的、是如何实操的,有很多读者向我们表示非常感兴趣,而我觉得这也是其它技术公司所正在探索和思考的方向。
因此,上个月底,老王在参加上海举办的 KubeCon 2019 时,遇到了蚂蚁金服 SOFA 团队的余淮,他目前在蚂蚁金服中间件团队服务与框架组具体负责开发框架与 SOFAStack 的开源工作。于是,参会之余,我和余淮就 SOFA 开源的实操方面进行了深入的沟通,现将谈话所得整理给大家。
SOFA与开源
继去年开始开源 SOFAStack 以来,今年上半年他们又开源了分布式事务框架 Seata 和服务注册中心 SOFARegistry,之前我曾经向蚂蚁金服中间件负责人杨冰了解过为什么要将SOFA 开源的背后思考,以及 SOFA 发展迭代的历程,详情可以看之前的文章《蚂蚁金服技术总监杨冰:金融科技公司为什么要拥抱开源? 》进行了解。
目前,SOFA 的架构已经发展到 SOFA 5 阶段,在今年 2 月,前任 SOFA 开源负责人鲁直还向我分享了 SOFA 5 中重点推进的方向,主要包括 Service Mesh 和 Serverless,以及分布式事务 Seata 的落地,具体内容见文章《蚂蚁金服SOFA开源负责人鲁直:不只是中间件 ,未来会开源更多》。
作为一个成功的开源核心模式的项目,我非常关注 SOFA 开源的实操是如何进行的,是如何进行开源治理的,作为 SOFA 团队的老朋友,我们话题就直接从 SOFA 的开源治理聊起。
以SOFA为例:公司内部软件的开源流程
余淮说,从 2015 年开始,蚂蚁金服开启了金融科技对外输出的战略,SOFAStack 也走出了蚂蚁金服,甚至跨越了国界,被更多金融机构与合作伙伴所使用,如天弘基金、信美互信、南京银行、PayTM、DANA 钱包等。
在与合作伙伴以及客户的沟通、合作过程中,他们发现了 SOFAStack 的理念和能力也正是很多金融行业的企业所需要的。在蚂蚁金融科技对外输出的过程中,内部已经对SOFAStack 进行了一定程度的代码重构,例如历史兼容逻辑的剥离等,但是并未能达到直接开源的标准。
关于开源,内部一直有开源的讨论,到 2017 年双十一结束后正式决定开源。经过了一系列的准备,2018 年 4 月,完成了对 SOFA项目的满足了开源改造的标准后,SOFAStack 马上宣布正式开源框架中部分重要组件。
SOFA团队采用的开源策略叫「Open Core」,顾名思义就是要将接口层以及核心实现都开源,以可扩展化的方式来层层构建 SOFAStack 的能力,保证 SOFAStack 的内部版本和开源的版本采用的是同一个内核。为此SOFAStack 做了大量的改造和重构工作。
在开源的具体考量上,余淮表示,SOFAStack的开源改造基本上有三条原则,分别是高可扩展性、对内兼容历史版本、对外兼容业界标准。
以 SOFARPC 重构为例,大概经历了这样的过程:
1.首先需要将 SOFARPC 进行了一次核心接口和模型抽象,然后增加了扩展点机制和事件总线机制,所有的对内对外实现都基于这些核心接口和模型去扩展,并且保证这些扩展能力都是平等的、可选的;
2.接着将核心的处理逻辑实现迁移到这套接口和模型上来,保证 RPC 能力完整可用;
3.然后需要将 RPC 里一些对接内部系统的、兼容历史逻辑的代码做成内部扩展,并进行全量测试验证,确保和已有线上的历史方案的兼容,发布上线;
4.最后会调研业界的一些开源标准方案和实现,并对其进行兼容,例如 SOFARPC 不仅对接自己的 SOFARegistry 的实现,还兼容了 Zookeeper、Etcd、Nacos等业界优秀的注册中心方案。
虽然上面重构过程听上去没那么复杂,但是在实际过程中还是非常考验团队的技术能力的,特别是在抽象核心接口和模型的时候,为了做到既兼容内部又兼容外部,这需要进行大量的调研工作,才能做好这层较为通用抽象。其次在对内逻辑兼容的时候,由于内部的历史负担还是比较重的,为了能让重构的代码安全上线,团队也做了很多事情。
还是举 SOFARPC 的例子,蚂蚁内部的服务路由过程比开源是要复杂很多的,特别是配合蚂蚁特有的单元化部署以及异地多活的能力,有时候需要多层路由才能找到目标地址。为了验证重构后逻辑的正确性,除了在开源代码里有单元测试用例外,SOFA团队在内部也构建了一套非常完善的集成框架,专门用来测试已有逻辑的兼容性及正确性。
基于 Open Core 这套思想建设 SOFAStack 以后,其实对开发同学的工作量来不会变少,反而可能是增多的。这是因为在写代码的同时,需要更多的考虑内部外部的使用情况,对代码质量也提出了更高的要求,开发流程会变得更加复杂。
例如,内部新增一个特性,在以前可能直接修改代码经过测试就发布上线了,但现在的话会去思考这其中哪些能力是通用的,把这些能力抽象一下放到开源版本里去,然后开源版测试后发布,这个时候内部版本在基于这个开源版进行扩展,再经过测试后发布上线。
虽然开发同学工作变多了,但是这样的话可以让SOFAStack 的核心代码被更多的开发者 Review,在更多的系统中运行,在更多的场景下进行验证,对 SOFAStack 的品质保证有非常大的帮助。
此外在开源进度上,余淮表示, SOFAStack并不追求开源全部内部的组件,而是会根据产品的特性和开源准备的情况有选择的开源。
例如 SOFAStack 下的分库分表组件,因为产品特性和 OB 等内部结合紧密就暂时不会开源。金融级分布式架构下未开源部分能力,SOFAStack会和与业界其它优秀的开源项目做集成,保证整个金融级分布式架构功能的完整性和多样性。
所以对于 SOFAStack 来说,并不只有自己开源的产品,而更多关注的是,和整个社区里所有开源优秀的产品一起,打造一套快速构建金融级分布式架构的套件。
开源项目管理
开源一个项目,作为背后推动的公司事实上要付出相当多的人力和资金成本,同时,也不可避免的会涉及到审批流程。随着蚂蚁金服越来越多领域的项目开源,包括SOFAStack,AI,区块链等,蚂蚁金服内部出台了相应的严格的审核机制,包括技术、合规、法务、安全等部门进行审核,同时还会考察项目开源对公司的意义,以及是否对社区有价值,在审核通过之后项目就会正式开源与大家见面了。
蚂蚁金服对于开源文化是十分友好的,其内部的代码也大多都是公开在内网的 GitLab 仓库,经常会有业务团队对 SOFAStack 提交一些合并请求(拉取请求)来帮助项目的发展。
同时,蚂蚁金服的工程师也普遍地拥抱开源,开源能够帮助项目产生更多、更好的想法,同时也可以吸收来自社区的贡献,让项目本身能够做的更好,这是大家所喜闻乐见的。
SOFA的社区治理
开源项目并不是开放源代码就是终点,事实上,这只是开始,之后持续不断的开源治理才是开源之路。而如何将一个开源项目从最开始的由开源项目背后的公司主导转变为社区性项目,这是一个值得思考和探索的课题。
基于目前的开源模式和社区建设力度,SOFA 团队也在尽可能去吸引外部的贡献者。不过 SOFAStack 项目由于大量应用在蚂蚁金服及不少企业线上环境,所以目前对于开发者技术能力以及代码质量要求相对较高,因此,这项任务还需要较多的工作。
目前 SOFA 社区已经涌现了不少积极的开发者和贡献者,解决了社区提出的一些重要需求。这其中一些功能组件的完成,贡献者提供了相当重要的代码基础,而 SOFA 社区成员也积极参与到功能的完善和规范化工作中,甚至有的拉取请求要经过十几个来回才能被合并入功能分支。
余淮同时也谈到,下一步会引入更友好的流程和工具,让更多的开发者能够更容易地加入到 SOFAStack 社区的开发和贡献当中,为 SOFAStack 的共同发展做出包括贡献代码、文档完善和推广宣传等各个方面的贡献。
在社区团队方面,SOFAStack 也设计了诸如贡献者(Contributor)、提交者(Committer)、委员会成员(PMC)等多个层面的贡献者认证机制,以让各个层级热情、精力不同的人能够加入到项目的贡献中。
SOFAStack开源至今社区已经有120 多位 Contributor 共建社区,也有十来位外部 Committer通过其贡献的代码获得社区的认可,并进一步取得对社区发展的影响力。谈及这一点,余淮表示,为了保证代码质量,来自社区的代码贡献往往需要SOFAStack社区已有成员和贡献者许多次的往复修改和完善才能进入到代码主干,但是通过这些互动,才能真正遴选出来社区的中坚分子,也进一步将项目融入到社区中。
在社区建设方面,除了在Github 上、钉钉微信群的一些交流外,SOFAStack 社区还会有丰富的线上线下的活动。每周类似周报形式的 SOFAWeekly,帮助大家了解社区的最新资讯和项目进展;社区共建的SOFALab 源码解析实验室,和社区同学一起学习和解析源码,整理成册,帮助大家更好的学习项目;每月若干次的 SOFAChannel 直播,可以在线和讲师进行沟通交流。与此同时,SOFAStack也会定期在全国各地举行线下的 SOFAMeetup 活动,大家一起面对面交流,目前已经在全国五个城市举办了 7 场,共有一千多人到现场;也会举办 Workshop 和 CodeLab 等实践类的活动,像本次的 KubeCon 就有一场 Workshop,手把手带着大家一起实践 SOFAStack。
在社区合作方面,社区里有很多优秀的开发者和开源项目,SOFA团队也经常和社区互相学习、分享、交流技术,目前SOFAStack 已经和很多开源社群建立了良好的关系,包括国内 ServiceMesher,K8S 中国,ShardingSephere,SkyWalking,Ant Design,EggJS 等,也包括国外的 light4j 等。
此外,余淮还谈到,SOFAStack 在今年还会结合实际业务方面和开源社区做更多的能力整合提升,他举例说到 SOFAStack 今年会和做 Spring Cloud 更深入的集成和增强,例如 Spring Cloud 还是文件级别的配置更新,配合 SOFAStack可以做到更细粒度的配置更新等。
总结
要说我对哪个国内开源项目做的研究最深入,那非SOFAStack 莫属。自从 SOFAStack 开源以来,我先后和杨冰、鲁直从 SOFA 开源的思想、战略层面进行过深入沟通,而这次,我希望可以从战术上,从实操层面分享他们在 SOFA 开源方面的经验给广大的开源社区和开源企业。