celeborn

Spark低版本适配Celeborn

Spark-3.5版本以下使用Celeborn时，无法使用动态资源，对于低版本的Spark，Celeborn提供了patch。
woloqun·2023-12-02 10:16

杭州 Meetup｜ Apache Kyuubi & Celeborn，助力 Spark 拥抱云原生

ApacheSpark作为如今大数据离线计算领域事实标准，被广泛应用。ApacheCeleborn（Incubating）是大数据引擎统一中间数据服务，除了支持Shuffle，未来还会支持Spilleddata，帮助计算节点解除对大容量本地盘的依赖。这是在阿里云上诞生的第一个Apache孵化项目。2022年10月正式进入Apache孵化器，截至目前我们积累了1200+的Commits，56个Con
Apache Spark中国社区·2023-11-11 08:19

Apache Kyuubi & Celeborn，助力 Spark 拥抱云原生

简介：10月14日13:00-17:30，ApacheKyuubi&Celeborn社区将在杭州举办「ApacheKyuubi&Celeborn(Incubating)助力Spark拥抱云原生」Meetup
阿里云大数据AI技术·2023-10-16 12:40

Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性

摘要：本文整理自阿里云/数据湖Spark引擎负责人周克勇（一锤）在StreamingLakehouseMeetup的分享。内容主要分为五个部分：ApacheCeleborn的背景ApacheCeleborn——快ApacheCeleborn——稳ApacheCeleborn——弹Evaluation点击查看原文视频&演讲PPT一、背景大数据引擎的中间数据有两个来源:Shuffle和Spill，其中
·2023-08-28 11:30

Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性

摘要：本文整理自阿里云/数据湖Spark引擎负责人周克勇（一锤）在StreamingLakehouseMeetup的分享。内容主要分为五个部分：1.ApacheCeleborn的背景2.ApacheCeleborn——快3.ApacheCeleborn——稳4.ApacheCeleborn——弹5.EvaluationTips：点击「阅读原文」免费领取5000CU*小时Flink云资源01背景大数
Apache Flink·2023-08-25 09:44

Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

作者：张凯@阿里云、陳韋廷@Intel、周渊@Intel简介ApacheCeleborn(Incubating)是阿里云捐赠给Apache的通用RemoteShuffleService，旨在提升大数据计算引擎的性能/稳定性/弹性，目前已广泛应用于生产场景。Gluten是Intel开源的引擎加速项目，旨在通过把SparkJavaEngine替换为NativeEngine(Velox,ClickHou
·2023-08-24 17:17

Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

作者：张凯@阿里云、陳韋廷@Intel、周渊@Intel简介ApacheCeleborn(Incubating)是阿里云捐赠给Apache的通用RemoteShuffleService，旨在提升大数据计算引擎的性能/稳定性/弹性，目前已广泛应用于生产场景。Gluten是Intel开源的引擎加速项目，旨在通过把SparkJavaEngine替换为NativeEngine(Velox,ClickHou
阿里云大数据AI技术·2023-07-14 10:31
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他