Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink

点击蓝字 关注我们

Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink_第1张图片

2021 年 12 月 9 日,SeaTunnel (原名 Waterdrop) 进入 Apache 孵化器。4 个月后的 2022 年 3 月 18 日,其首个 Apache 版本正式发布,并且保证了首个版本一次性通过检查。这意味着 2.1.0 版本,是经过 SeaTunnel 社区和 Apache 孵化器投票检查发布的官方版本,企业和个人用户可以放心安全使用。

2.1.0 下载地址:

https://seatunnel.apache.org/download

GitHub Release:

https://github.com/apache/incubator-seatunnel/releases/tag/2.1.0

备注:

软件许可协议是一种具有法律性质的合同或指导,目的在于规范受著作权保护的软件的使用或散布行为。通常的许可方式会允许用户来使用单一或多份该软件的复制,因为若无许可而径予使用该软件,将违反著作权法给予该软件开发者的专属保护。效用上来说,软件许可是软件开发者与其用户之间的一份合约,用来保证在符合许可范围的情况下,用户将不会受到控告。

进入孵化器前后,我们花费了大量的时间来梳理整个项目的外部依赖以确保整个项目的合规性。需要说明的是,开源软件选择怎样的 License 并不意外着项目本身就一定合规。而 ASF 严苛的版本检查最大程度地保证了软件 License 的合规性,以及软件合理合法的流通分发。

01

本次发布版本说明

新特性

1.对微内核插件化的架构内核部分进行了大量优化,内核以 Java 为主,并对命令行参数解析,插件加载等做了大量改进,同时插件扩展可根据用户(或贡献者)所擅长的语言去做开发,极大程度地降低了插件开发门槛。

2.全面支持 Flink,但同时用户也可自由选择底层引擎,本次更新也为大家带来了大量的 Flink 插件,也欢迎大家后续贡献相关插件。

3.提供本地开发极速启动环境支持(example),贡献者或用户可以在不更改任何代码的情况下快速丝滑启动,方便本地快速开发调试体验。对于需要自定义插件的贡献者或者用户来讲,这无疑是个令人激动的好消息。事实上,我们在发布前的测试中,也有大量贡献者采用这种方式快速对插件进行测试。

4.提供 Docker 容器安装,用户可以极快地通过 Docker 部署安装使用 SeaTunnel,未来我们也会围绕 Docker&K8s 做出大量迭代,欢迎大家讨论交流。

具体功能说明

  • 使用 JCommander 来做命令行参数解析,使得开发者更关注逻辑本身。

  • Flink 从 1.9 升级至 1.13.5,保持兼容旧版本,同时为后续 CDC 做好铺垫。

  • 支持 Doris 、Hudi、Phoenix、Druid 等 Connector 插件,完整的插件支持你可以在这里找到 [plugins-supported-by-seatunnel] 。

  • 本地开发极速启动环境支持,你可以在使用 example 模块,不修改任何代码的前提下快速启动,方便开发者本地调试体验。

  • 支持通过 Docker 容器安装和试用 SeaTunnel。

  • Sql 组件支持 SET 语句,支持配置变量。

  • Config 模块重构,减少贡献者理解成本,同时保证项目的代码合规 (License)。

  • 项目结构重新调整,以适应新的 Roadmap。

  • CI&CD 的支持,代码质量自动化管控,(后续会有更多的计划来支持 CI&CD 开发)。

02

致谢

感谢以下参与贡献的同学(为 GitHub ID,排名不分先后):

Al-assad, BenJFan, CalvinKirs, JNSimba, JiangTChen, Rianico, TyrantLucifer, Yves-yuan, ZhangchengHu0923, agendazhang, an-shi-chi-fan, asdf2014, bigdataf, chaozwn, choucmei, dailidong, dongzl, felix-thinkingdata, fengyuceNv, garyelephant, kalencaya, kezhenxu94, legendtkl, leo65535, liujinhui1994, mans2singh, marklightning, mosence, nielifeng, ououtt, ruanwenjun, simon824, totalo, wntp, wolfboys, wuchunfu, xbkaishui, xtr1993, yx91490, zhangbutao, zhaomin1423, zhongjiajie, zhuangchong, zixi0825.

同时也诚挚的感谢我们的 Mentor :

Zhenxu Ke,Willem Jiang, William Guo,LiDong Dai ,Ted Liu, Kevin,JB

在这个过程中给予的帮助。

03

未来几个版本的规划

  • CDC 的支持;

  • 监控体系的支持;

  • UI 系统的支持;

  • 更多的 Connector 支持,以及更高效的 Sink 支持,如 ClickHouse,很快会在下个版本跟大家见面。

后续 Feature 是由社区共同决定的,Apache SeaTunnel (Incubating) 呼吁大家一同参与社区后续建设。

04

社区发展

近期概况

自进入 Apache 孵化器以来,贡献者从13 人增长至 55 人,且持续保持上升趋势,平均周 commits维持在20+,来自不同公司的三位贡献者(Lei Xie, HuaJie Wang,Chunfu Wu,) 通过他们对社区的贡献被邀请成为Committer。

我们举办了两场MeetUp,来自 B 站,OPPO、唯品会等企业讲师分享了 SeaTunnel 在他们在企业中的大规模生产落地实践(后续我们也会保持每月一次的 meetup,欢迎各位使用 SeaTunnel 的用户或者贡献者分享 SeaTunnel 和你们的故事)。

Apache SeaTunnel (Incubating) 的用户

Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink_第2张图片

Note:

仅包含已登记用户 Apache SeaTunnel (Incubating) 目前登记用户如下,如果您也在使用 Apache SeaTunnel,欢迎在 Who is using SeaTunne!

 (链接:https://github.com/apache/incubator-seatunnel/issues/686)

中登记!

05

PPMC 感言

Apache SeaTunnel (Incubating) PPMC LiFeng Nie 在谈及首个 Apache 版本发布的时候说,从进入 Apache Incubator 的第一天,我们就一直在努力学习 Apache Way 以及各种 Apache 政策,第一个版本发布的过程花费了大量的时间(主要是合规性),但我们认为这种时间是值得花费的,这也是我们选择进入 Apache 的一个很重要的原因,我们需要让用户用得放心,而 Apache 无疑是最佳选择,其 License 近乎苛刻的检查会让用户尽可能地避免相关的合规性问题,保证软件合理合法的流通。另外,其践行 Apache Way,例如公益使命、实用主义、社区胜于代码、公开透明与共识决策、任人唯贤等,可以帮助 SeaTunnel 社区更加开放、透明,向多元化方向发展。

参与贡献

4a03b3d806878bc5dd8f96ac2fc79702.png

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

8e4d6c97fca5a27f89a924b876ea43a1.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

59b2266b59cc55bcaba4246d49132a4b.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

活动推荐

c14741dc4eca61f3c8f5389ccce6b67a.png

2022 年 3 月 26 日(星期六), Apache DolphinScheduler 和 Apache ShenYu(Incubating) 两大新生开源力量将携手,邀请来自 YY 直播、自如、政采云等团队的实战型专家,更有 Apache ShenYu 创始人 & PPMC  & Dromara 开源组织创始人,以及Apache ShenYu Committer 为企业大数据开发者、开源技术爱好者带来一场技术盛宴。

本次活动受疫情影响仍以线上直播的形式开展,活动现已开放免费报名,欢迎扫描下图二维码,或点击“阅读原文”免费报名!

Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink_第3张图片

扫码观看直播

Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink_第4张图片

扫码入直播群

f23a67c6c82bbcca063e0d5a15e5fd27.png


☞全面拥抱 K8s,ApacheDolphinScheduler 应用与支持 K8s 任务的探索

☞Apache DolphinScheduler&ShenYu(Incubating)联合 Meetup,暖春 3 月与你相约

☞杭州思科对 Apache DolphinScheduler Alert 模块的改造

☞日均处理 10000+ 工作流实例,Apache DolphinScheduler 在 360 数科的实践

☞Apache DolphinScheduler 2.0.5 发布,Worker 容错流程优化

☞Apache DolphinScheduler 版本控制核心原理揭

☞喜讯 | Apache DolphinScheduler PMC Chair 代立冬,PMC 郭强获邀成为 ASF Member

☞途家大数据平台基于 Apache DolphinScheduler 的探索与实践

点击阅读原文,免费报名!

你“在看”我吗?

a04f8ac4e0a86c705ce9844036c97e18.png

你可能感兴趣的:(大数据,java,人工智能,编程语言,python)