终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!

王昱翔,活动组织者

社区 Contributor

读完需要

10

分钟

随着大数据技术的快速发展,数据调度、数据湖的构建和数据存储变得越来越重要。数据处理的复杂性、分布式环境下的数据调度问题、PB级别数据入湖的实践、记录级索引的应用等,都已经成为了大数据工程师面临的关键问题。

在大数据的海洋中,如何寻找到最有效的调度工具,最实用的数据入湖实践,最深入的记录级索引应用呢?为了帮助大数据工程师们寻找到最适合自己的解决方案,Apache DolphinScheduler 联合 Apache Hudi社区特别策划了一场“杭州”的线下Meetup。

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第1张图片

6月17日,为了让这次技术活动更加丰富,我们还额外邀请了Apache SeaTunnel和 PostgreSQL社区的开发者和专家老师来进行探讨交流!期待碰撞出更激烈的技术火花~

本次活动还邀请了来自阿里云、阿里巴巴、政采云、恒生电子、白鲸开源等业内资深专家和社区的大佬为大家带来精彩的主题演讲,他们将以最前沿的视角,带领我们探索大数据的最新技术趋势,解析实际工作中遇到的难题,并分享他们在这些问题上的独到见解和实践经验。

4724c7cddb689acbb497e6c85c1d5298.png

报名通道

Apache DolphinScheduler & Hudi 联合Meetup 杭州站——《大数据调度与存储优化实践》线下活动报名通道已开启,赶快预约吧!

时间:2023-6-17 13:00-17:00

形式:线下活动

地址:杭州市未来科技城·海创园7幢1楼谐云

扫描报名二维码/点击阅读原文链接立即报名(免费)

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第2张图片

扫码预约报名

扫描报名二维码进杭州大数据活动交流群(免费):

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第3张图片

扫码进群

活动看点

1️⃣ 大咖云集:来自 Apache DolphinScheduler、 Hudi、 SeaTunnel 及 PostgreSQL等开源项目的核心开发者和应用实践者,这将是一次难得的学习和交流机会。

2️⃣ 实践案例分享:你将有机会听到来自行业的实战案例分享,这些实践经验将帮助你了解如何解决实际工作中的问题,如何优化你的数据处理流程。‍‍

3️⃣ 源码剖析:深度剖析DolphinScheduler RPC源码,帮助你理解其内部运行机制,提升你的开发技巧和效率。

4️⃣ 最新技术展示:Apache Hudi的记录级索引应用,PolarDB PostgreSQL版的安全特性,SeaTunnel基于SQL的Transform plugin实现等,让你领略最前沿的大数据技术。

5️⃣ 交流与Networking:这不仅是一场学习的盛宴,也是一次与大数据行业内的专家、同行交流的机会。你可以在这里找到志同道合的伙伴,共同探讨大数据的未来。

6️⃣ 精彩的互动环节:抽奖环节和集体合影,不仅可以带走实用的知识,也可以带走美好的回忆。

往下滑了解活动的具体时间、地点和议程。(本次活动不设直播

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第4张图片

李进勇

Apache DolphinScheduler PMC

议题:聚焦调度,DolphinScheduler 2.0.9 让调度不再是痛点

Apache DolphinScheduler在2.0.x系列版本的迭代中,初衷是让工作流调度更加纯粹,以应对极限工况下的挑战。自2.0.5版本以来,经历了数次关键的内核升级,在政采云生产环境中每日处理8000+的批量任务,半年来保持零故障。在此次分享中,将围绕2.0.x的重要迭代,分享踩过的坑以及生产调优经验。

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第5张图片

符其军

阿里云开发工程师

议题:阿里云AnalyticDB基于Hudi实现PB级别数据入湖实践

原生数据仓库AnalyticDB MySQL湖仓版(3.0)(简称ADB湖仓版)可以帮助企业快速构建从湖到仓一体化技术架构,使用低成本离线处理能力完成数据的清洗加工,使用高性能在线分析引擎完成数据的洞察探索。本次演讲将介绍ADB湖仓版基于Hudi实现PB级别数据入湖的实践。

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第6张图片

吴小飞

DolphinScheduler贡献者

议题:深度解析海豚调度 RPC 源码和二开实战案例

作为新一代DAG调度平台,DS优秀的业务工作流编排和大数据环境作业调度能力受到了广泛的赞誉。其中,独特的master-worker双层调度设计通过RPC进行衔接,这就使得RPC的核心架构设计和流程剖析显得尤为重要。在本次分享中,将深入剖析RPC的设计原理,以助大家对相似架构有更清晰的理解,同时也将分享如何在DolphinScheduler中进行二次开发,以满足新增业务场景下的组件或插件需求。让我们一同探索DolphinScheduler的深度应用,赋能大数据调度的可能性!

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第7张图片

许世彦

Apache Hudi PMC

议题:Apache Hudi:探索记录级索引的应用与优势

Apache Hudi是一个高效的大数据存储方案,其核心特性之一就是能够提供记录级的索引服务。这一特性让数据处理更加精确,帮助开发者和数据分析师在海量数据中迅速定位所需信息。在本次分享中,我们将详细解析Hudi的记录级索引机制,探讨其实现原理、效果以及应用场景

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第8张图片

马骋原

恒生电子大数据技术专家

议题:Apache SeaTunnel基于SQL的Transform plugin实现

Apache SeaTunnel SQL Transform plugin 是一个基于SQL解析、生成物理执行计划并执行的转换层SQL引擎插件,实现了小T的能力:涵盖了大部分常用的字符串、数字、时间类SQL函数;支持条件过滤;支持UDF等多种功能。能够同时无缝运行在Zeta,Spark,Flink引擎之上。

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第9张图片

宋宏宇

阿里云研发工程师

议题:PolarDB PostgreSQL版安全特性解读

PolarDB PostgreSQL 版在存储计算分离架构下,为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。本次分享主要解读 PolarDB PostgreSQL 版安全特性,包括访问安全、传输安全、数据安全、行级访问控制、数据脱敏以及安全审计原理及使用。

交通指引

自驾指引:

如果你选择自驾车,可以将目的地设置为"杭州市未来科技城·海创园7幢1楼谐云",然后按照导航系统的指引前往。

公共交通指引:

公交:你可以乘坐公交路线309、350路、351路、354路、361路、370路、822路等,到达"海创园"站下车,向南步行约5分钟即可到达目的地。

火车:如果你从杭州火车站出发,可以先乘坐地铁1号线到"城站",然后换乘公交309路,到"海创园"站下车,向南步行约5分钟即可到达目的地。

✈️ :如果你从杭州萧山国际机场出发,可以乘坐机场大巴至杭州火车站,然后参照上述火车站的交通指引前往目的地。

以上都只是参考路线,具体交通方式可能会因实际情况而有所不同。建议你在出发前,根据自身情况查询最合适的路线,并预留足够的时间以防万一。

希望以上信息能够帮助您顺利抵达我们的活动现场。如果您在前往过程中遇到任何问题,都可以随时向我们求助。

地图图示:

欢迎大家参加6月17日  DolphinScheduler & Hudi 联合 Meetup 杭州站 ,下午13:00,我们不见不散。

让我们在这个夏日,共同见证大数据的力量,解锁大数据的无限可能!限时报名,名额有限,先到先得!

一起加入我们,与大数据的先驱们碰撞思想,探寻未知的可能!期待在杭州与您相聚,共同探索大数据的新征程!

社区介绍

Community

Apache DolphinScheduler 是一个云原生并带有强大可视化界面的大数据工作流调度平台,致力于让调度变得更加容易,已在 3000+ 家公司的生产环境上稳定运行。身为一款专门针对于大数据平台的工作调度系统,具有本土化风格和多样化的部署方式。同时,Apache DolphineScheduler还拥有十分活跃的社区与定期的交流会。

Apache Hudi 是新一代流式数据湖平台,支持插入、更新、删除以及增量数据处理;可助力构建高效的企业级数据湖,目前已经在国内外多个大型公司生产落地。

Apache SeaTunnel 是一个云原生的高性能海量数据集成平台。中国时间 2023 年 6 月 1 日, SeaTunnel正式成为 Apache顶级项目,这也是 Apache 基金会中第一个诞生自中国的数据集成平台项目。目前,SeaTunnel 在GitHub 上Star 数达 4.9k+,社区达到5000+人规模。

PostgreSQL中文社区是一个非盈利的民间组织,目前成员都以志愿者身份加入,成立的目的在于构建PG数据库技术生态圈子(内核、用户、培训机构、厂商、服务商、软件开发商、高校形成“业务与利益双向驱动”的良性发展生态圈);帮助企业解决人才培养和企业商用数据库成本问题,社区会在各运营平台发布PostgreSQL最新信息和PostgreSQL相关技术文章,推动PG技术在中国的发展。

致谢

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第10张图片

参与贡献

随着国内开源的迅猛崛起,DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

743ade29289b3311dfc90afadad2fea4.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

6ccc452f0150b2bf864ce94b899c9763.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第11张图片

添加社区小助手微信(Leonard-ds) 

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

<  >

更多精彩推荐

☞Apache DolphinScheduler 发布 3.1.7 版本,修复 SeaTunnel 任务保存错误

☞优秀用户案例有奖征集 | 活动火热开启,快来投稿!

☞用一杯星巴克的钱,训练自己私有化的ChatGPT

☞运维实战:Apache DolphinScheduler 生产环境升级

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

☞企业级应用如何用 Apache DolphinScheduler 有针对性地进行告警插件开发?

☞CommunityOverCode Asia 2023 强势来袭!15 大专题议题征集 6 月 6 日截止

点击阅读原文火速报名终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!_第12张图片

你可能感兴趣的:(apache,大数据,数据库)