2022年12月22日,Apache 软件基金会(ASF)官方宣布 Apache Kyuubi 正式毕业,成为顶级项目(TLP)。
Apache Kyuubi 是一个分布式和多租户网关,用于在数据仓库和湖仓上提供无服务器SQL。
项目最初由网易数帆开发并于2018年开源,2021年6月捐赠 Apache基金会,经过1年多的孵化于2022年11月通过投票,在12月顺利毕业,成为 Apache 基金会顶级开源项目!
Apache Kyuubi 简介
Apache Kyuubi 在各种现代计算框架之上建立了分布式SQL查询引擎,例如 Apache Spark™、Apache Flink™、Apache Doris™、Apache Hive™和Trino等,以查询分布在异质数据源的机器群上的大规模数据集。
统一网关:通过一个入口点实现对任何集群资源的简化、安全访问,为终端用户部署不同的工作负载
- 应用编程接口:支持各种API,包括Apache Thrift™、JDBC、ODBC、REST等,便于访问。
- 多租户:支持端到端的多租户,这对集群的安全性和并发性都有利。
- 高可用性:确保其在指定时间内连续无障碍运行,以满足商定的运行性能水平。
无服务器SQL及更多:使最终用户更容易从数据宇宙中获得洞察力,并优化数据管道,无论他们的技术知识如何。它能够使用熟悉的SQL为各种工作负载提供与RDBMS相同的用户体验,在不同的数据源上提供广泛和安全的数据访问能力,并通过可扩展的计算资源为大量数据提供高性能。
- 易用性:终端用户可以有一个优化的体验,以无服务器的方式探索他们的数据宇宙。相应的引擎,如 Spark 和Flink 的 "超能力 "不再是必要的。
- 在任何地方以任何规模运行:所有的预编程引擎都有分布式后端,可以在单节点机器上或跨集群安排任务。
- 高性能:最先进的查询引擎、服务器端的全局和持续优化等保证了整个集群的性能提升。
社区发展
在孵化过程中,社区迎来了一百多个贡献,有数千个提交,总计成功发布了九个版本。来自不同公司和国家的开发者和其他类型的贡献者在社区中度过了一段快乐的旅程。
Kyuubi 目前已被全球数百家企业采用,涉及多个行业,如云基础设施、互联网、金融、医疗、打车服务、物流、游戏和ACG,等等。像阿里巴巴、Bilibili、中国移动、携程、丁香园、eBay、爱奇艺、广发证券、kt NexR、网易、腾讯、T3、Womply、小米、雪球和知乎等公司都在使用 Apache Kyuubi。
“这是 Kyuubi 的一个重要里程碑,毕业也证明了它在大公司的巨大价值。在过去的一年里,我们成功地采用了Kyuubi 作为 Ad-hoc 查询和批量 ETL 作业的统一网关。kyuubi不仅支持交互式会话,还支持批量作业提交,这对企业用户来说至关重要。”eBay Hadoop 团队经理 Jiaye Wang 说,“我们期待着社区在未来提供更多令人兴奋的功能。”
“广发证券在大数据平台迁移中一直关注并采用 Kyuubi。我们将 Apache Kyuubi 视为下一代统一数据平台的旗舰服务之一,在数字化转型中引领金融科技架构演进,同时也是与大数据生态系统中其他项目实现共同繁荣的关键。”广发证券资深工程师梁博文评价道,“作为贡献者,在一个支持性的社区中不断做出贡献也是很愉快的。很兴奋看到 Kyuubi 毕业。”
"毕业将为更多的公司引入 Kyuubi 框架带来信心,"Apache Kyuubi PMC,T3大数据平台研发负责人杨华补充道。"未来,我们将尝试将更多的大数据查询/计算引擎与 Kyuubi 整合,同时,将其与内部数据地图连接,增强其授权能力,使其真正成为我们公司大数据的统一网关。"
毕业寄语(按姓氏首字母排序)
“很高兴看到又一个国人主导的 Apache 项目能够从孵化器毕业。Kyuubi 提供了 Severless 的 SQL 加速分析体验,方便企业便捷的打通各个数据源的访问。作为 Apache兄弟项目,Kyuubi 也提供了Apache Doris JDBC连接器支持,欢迎大家使用和反馈。也祝愿 Kyuubi能够在开源的舞台书写新的篇章!”
—陈明雨 ,Apache Doris PMC
“恭喜 Kyuubi 顺利从 Apache 孵化器毕业成为顶级项目,一个新的里程碑诞生了,作为大数据领域优秀的分布式多租户网关,期待后续发展的更加繁荣!”
— 代立冬,Apache DolphinScheduler PMC Chair & Apache SeaTunnel PPMC
“我们很高兴看到 Apache Kyuubi 正在成为那些想在大数据上提供无服务器 SQL引擎的人的热门选择。很高兴看到它成长为一个拥有开放、协作和多样化社区的顶级项目。”
— 姜宁,Champion and Mentor of Apache Kyuubi
“祝贺 Apache Kyuubi 毕业!在孵化器中与 Apache Kyuubi 社区合作是一件很愉快的事情!团队对新的想法非常敏感,反应非常迅速,对新的想法持开放态度。我相信他们现在作为一个顶级项目会以更大的热情继续建设这个伟大的项目!”
—Martin Grigorov,Apache 软件基金会成员
“在 Kyuubi 开源之初,小米就关注到 Kyuubi 且开始深度使用。Apache Kyuubi 作为统一的网关,服务于小米的新一代数据平台,在湖仓一体架构演进中扮演了重要的角色。小米和 Apache Kyuubi 社区也一直保持着深度合作,我们参与并见证了 Kyuubi 项目的发展历程。在此,衷心祝愿 Apache Kyuubi 项目和社区发展越来越好!”
—覃左言,小米集团开源委员会主席,开放原子基金会 TOC 成员
“很高兴看到网易数帆贡献给 Apache 基金会的 Kyuubi 项目正式毕业。能够毕业成为 Apache 顶级项目,说明 Kyuubi 项目在捐献之后发展成为一个活跃的,持续有生命力的社区治理的项目,也说明 Kent 等项目发起人在不断学习和掌握 The Apache way 的实践和精髓。Kyuubi 项目的立意很好,选中的技术痛点非常精准。现在又通过了Apache 孵化毕业的考验,IP 问题得到很好的验证,社区健康和持久性也得到了很好的确认。相信它的毕业能被业内更多的采纳,恭喜 Kyuubi 项目和社区!”
— 谭中意,中国开源推进联盟副秘书、开放原子开源基金会 TOC 副主席
“Kyuubi 是一个广泛使用的 SQL 门户,其无服务器设计,支持常见的 SQL 驱动,大大提升了大数据技术的使用便利性。作为客户端和底层技术之间的门户和网关,Kyuubi 也有很大的想象空间进行功能扩展,如 SQL 审计、检查、基于查询历史的优化等等。这是一个具有巨大潜力的项目。”
— 汪源,网易副总裁、网易杭州研究院执行院长
“恭喜 Apache Kyuubi 成为 Apache 顶级开源项目,开源就是如此,一方的欢喜衬托着另一方的忧伤,人类的极端情感,在这一刻得到充分的体现和释放,这就是 Apache Kyuubi,这也就是为什么我们如此深爱着 Apache Kyuubi 这枚项目的原因!”
— 蒋晓峰,bilibili 基础架构部资深开发工程师
“看到社区成长并从孵化器毕业,这意味着我们已经成功地采用了 ‘Apache Way’并能够自我管理,这很有趣也很令人兴奋。作为一个 Apache 顶级项目,Kyuubi 是由全球各地的人们和组织开发和使用的。Kyuubi 帮助他们实现数据民主化,使具有任何技能水平的人都能舒适地处理数据,而不管他们的技术知识如何。”
— 姚琴,VP of Apache Kyuubi
“祝贺 Kyuubi 毕业,成为网易数帆孵化的首个 Apache 项目!欢迎更多朋友加入 Kyuubi,社区越来越好。”
— 余利华,网易数帆大数据产品线总经理
了解更多
Apache Kyuubi 软件是在 Apache 许可证v2.0下发布的,并由一个自我选择的项目积极贡献者团队监督。项目管理委员会(PMC)指导项目的日常运作,包括社区发展和产品发布。
有关下载、文档和参与 Apache Kyuubi 社区请访问如下地址:
【官网地址】
https://kyuubi.apache.org
【下载】
https://kyuubi.apache.org/rel...
【文档】
https://kyuubi.apache.org/doc...
【Github】
https://github.com/apache/kyuubi
在未来的 Kyuubi 社区活动中将会看到 Apache Kyuubi 更多行动。
欲了解更多信息和注册,点击请访问:
https://apachecon.com/?ref=ky...
最后的最后,
感谢每一位社区开发者和用户参与的每一份贡献!