Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例

《机遇与挑战:Apache Flink 资源管理机制解读与展望》

宋辛童(花名:五藏)

阿里巴巴高级开发工程师

嘉宾简介:2018博士毕业于北京大学网络与信息系统研究所,后加入阿里巴巴实时计算团队,主要负责 Apache Flink 及阿里巴巴企业版本 Blink 中资源调度与管理机制的研发工作。

内容简介:对于计算引擎而言,资源管理是一个不可忽视的重要问题。一方面,位处底层的资源管理机制对上层用户而言显得遥远而又神秘;另一方面,它又与用户最为关切的性能与成本问题密切相关。那么Apache Flink是如何进行底层的资源管理的?阿里巴巴企业版Blink的资源管理方案有何不同之处?目前的资源管理机制仍存在哪些问题?Flink社区今后又将如何解决这些问题?本次分享将会就上述问题逐一进行探讨。

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第1张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第2张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第3张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第4张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第5张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第6张图片

640?wx_fmt=png

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第7张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第8张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第9张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第10张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第11张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第12张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第13张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第14张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第15张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第16张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第17张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第18张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第19张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第20张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第21张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第22张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第23张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第24张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第25张图片

《Apache Flink Python API 核心技术及案例》

孙金城(金竹)

Apache Flink PMC, 阿里巴巴高级技术专家

嘉宾简介:孙金城,淘宝花名”金竹”,阿里巴巴高级技术专家,Apache Flink PMC。自2015年以来一直专注于大数据计算领域,并持续贡献于Apache Flink 社区。2011年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。2015年开始投入阿里新一代实时计算平台Blink的研发工作。早期负责搜索事业部的离线大数据处理,以及将搜索离线数据处理的计算迁移到Blink计算平台之上,之后进行Blink计算平台的查询和优化工作。于2019年负责Apache Flink Python API的整体架构开发工作。

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第26张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第27张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第28张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第29张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第30张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第31张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第32张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第33张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第34张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第35张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第36张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第37张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第38张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第39张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第40张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第41张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第42张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第43张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第44张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第45张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第46张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第47张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第48张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第49张图片640?wx_fmt=pngApache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第50张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第51张图片    Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第52张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第53张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第54张图片    Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第55张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第56张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第57张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第58张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第59张图片Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第60张图片

Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例_第61张图片

如果觉得本文对你有帮助,请 点“在看” 、 分享朋友圈 ,你的支持是我们坚持写下去的理由!

想看更多大厂技术干货分享?请关注下方公号,回复“spark”,“flink”,“机器学习”,“前端”即可获取海量学习资料。

640?wx_fmt=jpeg

你可能感兴趣的:(Apache Flink 资源管理机制解读与展望和Python API 核心技术及案例)