大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,而大数据作为企业运转的基础,只有经过提供数据采集、存储、计算、分析、调度、管理、治理等过程,才能为企业所用。
而海豚调度作为数据调度工具的先行者,深刻理解调度工具缺乏可视化、拓展性差、无法去中心化、稳定性差等痛点问题,能够针对行业工具痛点精准提供解决方案。
在整个大数据时代下,从互联网出行到乳业龙头企业,越来越多的企业随着业务发展而带来的数据急剧增长,数据使用效率低,管理难,面临传统的数据系统无法支撑解决问题。如果不从根本上解决数据的问题大数据领域未来仍将面临巨大的挑战。
在这个背景下,Apache DolphinScheduler社区8月份邀请Apache Kylin社区举办了一场联合Meetup,本次活动主题是【大数据底座的构建与展望,助力企业数字化转型】,我们也有幸邀请到了来自伊利、T3出行、白鲸开源、Apache Kylin社区等企业的资深大数据工程师与开发者,从数据分析引擎、数据调度、数字化转型、维护开源视角等话题探讨在两个开源项目的开发实践。
无论你是热衷于钻研开源技术的开发者,还是“大数据调度+数据分析”的开源资深爱好者,都能这些前沿的案例从中获得全新的灵感。
无论你是 Apache DolphineScheduler & Apache Kylin的开发工程师还是个人爱好者,来到本次 Meetup,你一定能听到一手的分享,得到一手的收获!
报名通道
Apache DolphinScheduler & Apache Kylin 联合 Meetup | 8月线上直播报名通道已开启,赶快预约吧!
时间:2022-8-13 14:00-17:00
形式:线上直播
议程介绍
郑平贺
T3出行分析一体化负责人
10年大数据工作经验,涉及行业包括舆情,智慧城市,出行等
演讲时间:14:00-14:40
演讲题目:T3出行基于DolphinScheduler和Kylin自动构建指标模型的实践
演讲概要:简要介绍为什么要实现模型管理自动化;如何实现湖仓一体架构下的自动化模型管理设计;自动化模型管理的实现;团队的未来展望;
14:40-14:50 直播间抽奖环节
姜涛
伊利集团数据技术经理
负责内部大数据技术能力建设,推动大数据技术自研能力的落地以及内部的推广应用,承担大数据技术团队的组建与管理等
演讲时间:14:50-15:30
演讲题目:伊利集团在多云环境下基于Apache DolphinScheduler的探索与实践
演讲概要:应用多云的部署架构,让数据天然分散。在data mesh 和 data fabric新型数据架构还未普及的情况下,集中式的数据架构仍需要大量的数据搬迁,在企业内部,落地一套适合企业内部情况的多云数据集成与一体化多云调度服务平台成为刚需。伊利集团基于 DolphinScheduler 调度平台积极探索实践,不断打磨产品细节,解决了多云数据集成与多云任务调度服务的问题,同时解锁了 DolphinScheduler 新玩法。
俞霄翔
Kyligence研发工程师
Committer & PMC of Apache Kylin
Kyligence OSS Team 研发工程师
演讲时间:15:30-16:10
演讲题目:更易用、更强劲的大数据分析平台-Kylin 5.0 社区路线一览
演讲概要:一方面优化 Kylin 的预计算引擎和模型元数据,大大提升模型设计的灵活性;另一方面积极拥抱最新的技术潮流,从 Native engine、微服务等角度重新设计和实现 Kylin 的计算引擎和部署架构。在这次分享中,将会给大家带来下一代 Kylin 技术的前瞻性介绍和使用演示。
16:10-16:20 填写问卷+抽奖环节
钟嘉杰
白鲸开源数据工程师
Apache DolphinScheudler PMC
演讲时间:16:20-17:00
演讲题目:Apache DolphinScheduler 社区维护者眼中的开源
演讲概要:你所不了解的开源, 以 Apache 顶级项目 DolphinScheduler 为例, 简述作为开源维护者的秘辛
Apache DolphinScheduler 是一个云原生并带有强大可视化界面的大数据工作流调度平台,致力于让调度变得更加容易,已在 1000+ 家公司的生产环境上稳定运行。身为一款专门针对于大数据平台的工作调度系统,具有本土化风格和多样化的部署方式。同时,Apache DolphinScheduler还拥有十分活跃的社区与定期的交流会。
Apache Kylin是行业领先的开源分布式的分析型数据仓库,提供Hadoop/Spark之上的 SQL 查询接口及多维分析 (OLAP) 能力,支持对超大规模数据进行亚秒级查询,已被 eBay、腾讯、美团、滴滴、汽车之家、贝壳找房、OLX 集团等全球超过 1500 家企业采用。
福利环节
参与本期更多直播互动即有机会获得社区小礼品
欢迎大家参与8月13日 Apache DolphineScheduler & Apache Kylin 联合的线上交流会,下午14:00,我们不见不散!
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dol...
非新手问题列表:https://github.com/apache/dol...
如何参与贡献链接:https://dolphinscheduler.apac...
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。