lakehouse

兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册

ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着ApacheDoris用户的增加，新的数据源连接需求也随之增加。因此，从3.0版本开始，ApacheDoris引入了TrinoConnector兼容框架。Trino/Presto作为业界较早应用
vvvae1234·2024-09-11 19:17

StarRocks Lakehouse 快速入门——Apache Paimon

StarRocksLakehouse快速入门指南为您提供了湖仓技术概览，旨在帮助您迅速掌握其核心特性、独特优势和应用场景。本指南将指导您如何高效地利用StarRocks构建解决方案。文章末尾，我们集合了来自阿里云、饿了么、喜马拉雅和同程旅行等行业领导者在StarRocksxPaimonStreamingLakehouse活动中的实战经验分享。通过这些真实案例，您可以更直观地了解如何在实际应用中发挥
StarRocks_labs·2024-09-08 19:20

StarRocks 3.3 重磅发布，Lakehouse 架构发展进入快车道！

StarRocks3.3的发布标志着Lakehouse架构在数据分析领域迈向了一个新的高度。
StarRocks_labs·2024-09-08 19:48

Apache Doris + Iceberg 快速搭建指南｜Lakehouse 使用手册（三）

湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。ApacheDoris持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍ApacheDoris与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括Hudi、Paimon、Iceberg、OSS、DeltaLake、K
SelectDB技术团队·2024-08-24 10:25

数据湖技术之Paimon

一、简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
小枫@码·2024-01-22 17:48

Flink背景

实时数仓近年来，面向分析的数据系统发展迅速，各种新型的OLAP系统开始显露锋芒，数据湖和Lakehouse的概念也变得炙手可热。然而，数据集成仍然是人们通往数据分析之路上的主要障
201001070·2024-01-22 08:31

实战营 | 阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站

StarRocks自3.0大版本起，实现了从计算OLAP分析到统一Lakehouse的重大产品能力升级。
Apache Spark中国社区·2024-01-20 12:22

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

摘要：本文主要介绍巴别时代基于ApachePaimon(Incubating)构建StreamingLakehouse的生产实践经验。我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设，以便优先替换当前基于ApacheKaf
Apache Flink·2024-01-20 12:21

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

01背景信息数据湖与传统的数据仓库相比，可以更灵活地处理各种类型的数据，并支持高度可扩展的存储，通常被用于大数据分析。为了支持准实时乃至实时的数据处理，数据湖需要能够快速地接收和存储数据（数据入湖），同时提供低延迟的查询性能以满足分析需求。ApachePaimon和ApacheHudi作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文将在阿里云EMR[1]上，针对
Apache Spark中国社区·2024-01-20 12:51

实战营｜阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站

StarRocks自3.0大版本起，实现了从计算OLAP分析到统一Lakehouse的重大产品能力升级。
StarRocks_labs·2024-01-13 13:25

实战营｜阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站

StarRocks自3.0大版本起，实现了从计算OLAP分析到统一Lakehouse的重大产品能力升级。
阿里云大数据AI技术·2024-01-13 03:22

Apache Paimon:Streaming Lakehouse is Coming

摘要：本文整理自阿里云智能开源表存储负责人，FounderofPaimon，FlinkPMC成员李劲松（花名：之信）、同程旅行大数据专家，ApacheHudi&PaimonContributor吴祥平、汽车之家大数据计算平台负责人邸星星、联通数科大数据高级技术专家，ApachePaimonContributor王云朋在FlinkForwardAsia2023主会场的分享。内容主要分为以下三部分：数
Apache Flink·2024-01-06 08:15

MySQL HeatWave Lakehouse

在今年的OracleCloudWorld,Oracle宣布将发布一款数据库湖仓产品——MySQLHeatWaveLakehouse用以解决存储在数据库之外的文件数据等非结构化数据的查询和处理。MySQLHeatWave是一个完全管理的数据库服务,将事务处理、分析处理和机器学习服务合并到一个MySQL数据库的云服务,提供简单、实时、安全的分析,无需ETL,并且没有延迟。IDC预测,保存在数据库之外的
Running Sun丶·2024-01-02 15:36

Apache Paimon核心原理和Flink应用进阶

1.1简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代的StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
王知无(import_bigdata)·2023-12-22 11:57

基于 Flink SQL 和 Paimon 构建流式湖仓新方案

本篇内容主要分为四部分：数据分析架构演进介绍ApachePaimonFlink+Paimon流式湖仓流式湖仓Demo演示数据分析架构演进目前，数据分析架构正在从Hive到Lakehouse的演变。
阿里云大数据AI技术·2023-11-25 15:52

来云栖大会看 “ 云+StarRocks 3.0：极速统一的湖仓新范式 ”

本话题简介：StarRocks3.0开启了从OLAP到Lakehouse演进的新篇章。通过存算分离架构，帮助用户降低存储成本、提升计算
Apache Spark中国社区·2023-11-11 08:49

基于flink 的LakeHouse 2.0湖仓一体架构

基于flink的LakeHouse2.0湖仓一体架构简介Lakehouse是一种结合了数据湖和数据仓库优势的新范式，解决了数据湖的局限性。
活在风浪里~·2023-10-19 17:03

阿里云“玩转云上 StarRocks3.0 湖仓分析”，开启数据分析新范式

StarRocks3.0，实现了从计算OLAP分析到统一Lakehouse的重大产品能力升级。通过存算分离架构，帮助用户降低存储成本、提升计算弹性；通过数据湖
阿里云大数据AI技术·2023-10-16 12:27

系统架构设计：11 论湖仓一体架构及其应用

目录一湖仓一体（Lakehouse）1数据仓库2数据湖3数据仓库和数据湖4湖仓一体（Lakehouse）
Jackilina_Stone·2023-10-10 18:01

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
阿里云云栖号·2023-10-09 08:33

Flink Batch SQL Improvements on Lakehouse

本文整理自阿里云研发工程师刘大龙（风离），在StreamingLakehouseMeetup的分享。内容主要分为三个部分：FlinkBatchonPaimon挑战FlinkBatch核心优化后续规划点击查看原文视频&演讲PPT一、FlinkBatchonPaimon挑战众所周知，Paimon在创立之初就是为了解决流式数仓场景的问题。从下面的架构图里我们可以看到，这里有FlinkCDC的高效入湖，F
Apache Flink·2023-09-28 12:55

Flink Batch SQL Improvements on Lakehouse

本文整理自阿里云研发工程师刘大龙（风离），在StreamingLakehouseMeetup的分享。内容主要分为三个部分：FlinkBatchonPaimon挑战FlinkBatch核心优化后续规划点击查看原文视频&演讲PPT一、FlinkBatchonPaimon挑战众所周知，Paimon在创立之初就是为了解决流式数仓场景的问题。从下面的架构图里我们可以看到，这里有FlinkCDC的高效入湖，F
·2023-09-22 12:29

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
StarRocks_labs·2023-09-19 04:34

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
·2023-09-18 21:54

长安汽车：基于云器Lakehouse一体化数据平台，建立智能互联时代的领先优势丨案例研究

长安汽车智能化研究院是中国长安汽车集团有限责任公司旗下专注于汽车智能化技术研究和创新的研发机构。其愿景是通过持续创新和技术突破，实现汽车智能驾驶、智能网联和智能交通的全面发展，提供更安全、更便捷、更智能的出行体验，并成为中国汽车智能化领域的领军企业。智能化是汽车工业发展近百年来对汽车功能的一次重新定义，它旨在利用大数据、人工智能、云计算、物联网等数字技术，对汽车设备和系统的运行状态进行全方位的感知
ifenxi爱分析·2023-09-17 20:23

Data Lakehouse的未来-开放

Cloudera客户运行着地球上一些最大的数据湖。这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例（包括企业数据仓库）提供动力。近年来，创造了“数据湖仓（DataLakehouse）”一词来描述这种对数据湖中的数据进行表格分析的架构模式。在急于拥有这个术语的过程中，许多供应商忽略了这样一个事实，即数据架构的开放性是其持久性和寿命的保证。1.关于数据仓库和数据湖数据湖和数据仓库将大
大数据杂货铺·2023-09-16 09:22

流式数据湖平台—Paimon视频教程

ApachePaimon是一个流数据湖平台，是Streaming实时计算能力和Lakehouse新架构优势的结合，具有高速数据摄取、变更日志跟踪和高效的实时分析能力。
尚硅谷铁粉·2023-08-30 03:50

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

摘要：本文整理自阿里云开源大数据表存储团队负责人，阿里巴巴高级技术专家李劲松（之信），在StreamingLakehouseMeetup的分享。内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能，可以通过流计
Apache Flink·2023-08-23 07:58

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

摘要：本文整理自阿里云开源大数据表存储团队负责人，阿里巴巴高级技术专家李劲松（之信），在StreamingLakehouseMeetup的分享。内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能，可以通过流计
·2023-08-22 10:14

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

在Gartner发布的《HypeCycleforDataManagement2021》中，湖仓一体（Lakehouse）首次被纳入到技术成熟度曲线中。
·2023-08-21 15:18

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

摘要：本文主要介绍巴别时代基于ApachePaimon(Incubating)构建StreamingLakehouse的生产实践经验。我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设，以便优先替换当前基于ApacheKaf
·2023-08-15 18:41

Apache Paimon 学习笔记

1概述1.1简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代的StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
第一片心意·2023-08-10 10:55

回顾｜Streaming Lakehouse Meetup · 北京站（附问题解答 & PPT 下载）

更多活动现场照片：https://live.photoplus.cn/live/pc/53265145/#/7月29日StreamingLakehouseMeetup邀请了来自阿里巴巴、字节跳动的七位技术专家，围绕CDC数据入湖实践、Flink一站式湖仓一体构建、流式数据湖关键特性以及统一的RSS等，全方位解析StreamingLakehouse最前沿的技术，最新的产业实践！Flink、Paimo
Apache Flink·2023-08-10 07:30

Kyuubi的介绍优势（官网链接）

官网链接：https://kyuubi.apache.org/ApacheKyuubi™是一个分布式多租户网关，用于在数据仓库和Lakehouse上提供无服务器SQL。
墨卿风竹·2023-07-21 00:07

加速LakeHouse ACID Upsert的新写时复制方案

概述随着存储表格式ApacheHudi、ApacheIceberg和DeltaLake的发展，越来越多的公司正在这些格式的基础上构建其Lakehouse，以用于许多用例，例如增量摄取。
系统免驱动·2023-07-19 11:10

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

在Gartner发布的《HypeCycleforDataManagement2021》中，湖仓一体（Lakehouse）首次被纳入到技术成熟度曲线中。
云存储小天使·2023-07-17 15:54

卓越的流处理：Apache Flink 对 Data Lakehouse 架构的影响

ApacheFlink独特的流式处理和容错特性使其成为高效数据湖实现的强有力选择。在数据驱动决策的时代，数据湖仓库范式已经成为一种有前途的解决方案，将数据湖和数据仓库的优点结合起来。通过将数据湖的可扩展性与数据仓库的数据管理功能相结合，数据湖仓库提供了一种高度可扩展、敏捷和具有成本效益的数据基础设施。它们为分析和操作工作负载提供了强大的支持，使组织能够从其数据中提取更多的价值。在深入探索数据湖仓库
沃趣数据库管理平台·2023-07-15 16:50

Photon论文解读 : A Fast Query Engine for Lakehouse Systems

这篇论文是databricks公司首次将内部的基于c++的native执行引擎细节发表在SIGMOD2022，作者公共23人，论文地址：https://www-cs.stanford.edu/~matei/papers/2022/sigmod_photon.pdfwww-cs.stanford.edu/~matei/papers/2022/sigmod_photon.pdf本文不是对论文的翻译，而
shining_yyds·2023-06-21 04:18

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

摘要：本文主要介绍巴别时代基于ApachePaimon(Incubating)构建StreamingLakehouse的生产实践经验。我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设，以便优先替换当前基于ApacheKaf
·2023-06-16 20:24

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
·2023-06-13 12:49

Kyuubi基本安装与使用指南

ApacheKyuubi(Incubating)，一个分布式和多租户网关，用于在Lakehouse上提供无服务器SQL。
BigDataToAI·2023-06-13 01:10

StarRocks 3.0 极速统一的湖仓新范式

从OLAP到Lakehouse，从存算一体到存算分离，从ETL到ELT，经过两个大版本后StarRocks在为用户创造极速统一的数据分析新范式上有了更深一层的思考。
StarRocks_labs·2023-06-09 13:12

直播｜StarRocks 3.0 极速统一的湖仓新范式

自此，StarRocks开启了从OLAP到Lakehouse演进的新篇章。
StarRocks_labs·2023-06-09 13:11

「详谈 Delta Lake 」系列技术专题 之 湖仓一体（ Lakehouse ）

前言本文翻译自大数据技术公司Databricks针对数据湖DeltaLake系列技术文章。众所周知，Databricks主导着开源大数据社区ApacheSpark、DeltaLake以及MLFlow等众多热门技术，而DeltaLake作为数据湖核心存储引擎方案给企业带来诸多的优势。此外，阿里云和ApacheSpark及DeltaLake的原厂Databricks引擎团队合作，推出了基于阿里云的企业
阿里云技术·2023-03-30 14:14

数据湖仓一体的好处

云计算带来了几个明显的优势，这些优势是Lakehouse价值主张的核心。第一个是近乎无限的存储空间。利用基于云的对象存储将分析平台从任何存储限制中解放出来。您的数据可以无限
大数据杂货铺·2023-03-30 14:01

Lakehouse 架构解析与云上实践

简介：本文整理自DataFunCon2021大会上，阿里云数据湖构建云产品研发陈鑫伟的分享，主要介绍了Lakehouse的架构解析与云上实践。
阿里云云栖号·2023-03-30 10:39

[LakeHouse] Delta Lake全部开源，聊聊Delta的实现架构

目前在LakeHouse的市场上国内有Hudi，国外有Iceberg,DeltaLake社区正被他们冲击着，这次DeltaLake的全部开源不管是急病乱投医，还是绝地反击我们暂不讨论。
Tim在路上·2023-03-14 05:12

数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

转载自：https://mp.weixin.qq.com/s/vHaiO_ceTxSPdJNlM9ZMJA#at索性我们就来个专题，聊透数据库、数据仓库、数据湖以及风头正劲的“Lakehouse”——湖仓一体化
Jimmy2019·2023-02-03 21:00

直播 | StarRocks 联合腾讯云分享 EMR-StarRocks 的降本增效之路

极速湖仓（Lakehouse）是StarRocks构建极速统一新范式的核心支点。
StarRocks_labs·2023-02-03 17:32

如何快速构建企业级数据湖仓？

数据湖仓开源趋势趋势一：数据架构向LakeHouse方向发展LakeHouse是什么？简言之，LakeHouse是在DataLake基础上融合了DataWareho
字节数据平台·2023-02-03 10:43
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他