万亿级！腾讯大数据组件TubeMQ正式开源

　　近日，一年一度的国际开源顶会 ApacheCon 2019 在美国举办，正值 Apache 软件基金会（Apache Software Foundation，ASF）成立 20 周年之际，腾讯作为本次大会主会受邀的唯一中国企业，发表 ApacheCon 的 keynotes 演讲。

　　会上，腾讯开源管理委员会委员、腾讯开源联盟主席、Apache 软件基金会 Member 堵俊平向全球开源生态伙伴介绍了腾讯开源路线图，宣布腾讯万亿级分布式消息中间件 TubeMQ 正式对外开源，并计划捐赠给 Apache 基金会。这将是继加入 Apache 基金会白金会员后，腾讯与 Apache 基金会又一次紧密携手。

　　“腾讯和 Apache 基金会在开源事业上拥有同样的初衷和目标”，堵俊平表示：“基于 Apache 之道，我们总结出腾讯开源‘三步走’的路线图，并建立起腾讯特色的开源管理机制，这激发了近年来多个优质自主开源项目的快速涌现。如今，腾讯也在不断加码资源投入，积极参与社区建设和项目贡献，希望在国际开源舞台上贡献更多的智慧与创造力。”

腾讯开源路线图

　　受益“Apache 之道”，腾讯特色开源管理机制形成

　　近年来，腾讯在开源上的步伐不断加快。截至 9 月，腾讯自主开源项目已达 84 个，Star 数超过 24 万，重点关注领域包括 IaaS、容器与云原生、数据库、大数据与 AI、中间件、IoT/边缘计算、小程序生态等。在不断贡献优质项目之余，腾讯也积极贡献开源社区，除了加入 Apache 基金会、Linux 基金会、LFAI 基金会、OpenStack 基金会、MariaDB 基金会多个顶尖开源基金会的白金会员外，腾讯众多业务团队和技术人员也积极参与到开源贡献中，已广泛参与数十个社区和项目的建设。

　　腾讯云也在众多业务场景下帮助开源技术落地，通过创新回馈开源。典型的包括 Linux、KVM、MySQL、PostgreSQL、Kubernetes、Hadoop、Spark、TensorFlow 等等。以 KVM 为例，凭借向 KVM 贡献的 patch 数，腾讯云已经连续两年登上 KVM 开源贡献排行榜，成为国内贡献度最高的公有云厂商。

　　腾讯开源的快速发展背后，离不开从“Apache 之道”脱胎而来的腾讯特色开源管理机制。

　　“Apache 之道”是 Apache 基金会开源方法论的精华所在，其中最重要的原则之一是：社区重于代码。这意味着对开源而言，最重要的是人而不是代码，开源组织需要吸引最优秀的人来加入，一起推动开源的成功。基于大多数人的共识通常比投票的权利和流程更为重要，重大事项和决定需要通过开放透明的讨论来达成等原则也具有相当的普适性。

　　堵俊平表示，这些原则对腾讯的开源工作提供了很好的指引方向。腾讯从“Apache 之道”的开源方法论中汲取了宝贵经验，成立了腾讯开源管理办公室，形成了自上而下传递腾讯开源策略、自下而上落地开源技术生态的开源管理机制。在开展开源工作时，腾讯既融合了“Apache 之道”的精髓，帮助内部的自研项目“走出去”；同时结合腾讯研发文化，有效提升开源治理与管理效率，抱以尊重和共享的精神，帮助更多的外部开发者和开源项目“走进来”。

　　来自真实生产环境，腾讯自研 TubeMQ 正式发布

　　TubeMQ 是此次腾讯在 ApacheCon 上最新发布的自研开源项目。它的原型是腾讯数据平台部在 2013 年自研的分布式消息中间件系统（MQ），专注于大数据场景下海量数据的高性能存储和传输，长期服务微信支付、腾讯视频、广点通等产品。

TubeMQ 项目介绍

　　作为中国最大的互联网公司之一，腾讯每天要处理规模惊人的数据。为支持海量业务，腾讯组建了包含存储层、数据管理层及分析层 3 层结构的数据湖协同方案，向下管理多种数据引擎，向上支撑多种数据应用需求。TubeMQ 就是来源于腾讯数据湖存储层的消息中间件系统，支撑着海量数据的流入和运转。

腾讯数据湖方案，其绝大多数组件由 Apache 的开源项目组成

　　经过近 7 年、万亿规模的海量数据沉淀，TubeMQ 目前日均接入量超过 25 万亿条消息。较之于其他的开源 MQ 组件，TubeMQ 长期应用于真实生产环境中，在稳定性、性能和成本方面都有着核心优势。

　　据了解，Apache 基金会目前已为超过 350 个开源项目提供支持，尤其在大数据与云计算领域，拥有众多明星开源项目。

　　堵俊平介绍到，作为 Apache 基金会在中国的首家白金赞助商，腾讯计划将 TubeMQ 捐赠给 Apache 基金会，目前已经启动了相关的孵化流程。期望以 TubeMQ 为重要的里程碑，在大数据领域持续贡献优秀的项目来反哺开源社区。