lakehouse

Data Lakehouse (湖仓一体) 到底是什么

0、背景DataLakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。0.1目前数据存储的方案一直以来，我们都在使用两种数据存储方式来架构数据：数据仓库：主要存储的是以关系型数据库组织起来的结构化数据。数据通过转换、整合以及清理，并导入到目标表中。在数仓中，
Impl_Sunny·2023-01-30 07:06

Databricks说的Lakehouse是什么？

在过去的几年里，Lakehouse作为一种新的数据管理范式，已独立出现在Databricks的许多用户和应用案例中。在这篇文章中，我们将阐述这种新范式以及它相对于之前方案的优势。
大数据学习与分享·2023-01-30 07:32

Delta Lake调研：Delta Lake是什么【2】Lakehouse和data warehouse、data lake的区别

DeltaLake是一个基于云对象存储的表存储工具，它实现了lakehouse的构想。
Doris404·2023-01-30 07:00

技术干货｜ 阿里云基于Hudi构建Lakehouse实践探索

简介：阿里云高级技术专家王烨(萌豆)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题介绍了阿里云如何使用Hudi和OSS对象存储构建Lakehouse，为大家分享了什么是
阿里开发者·2023-01-30 07:59

什么是湖仓一体？

过去几年中，「湖仓一体」（Lakehouse）作为一种新的数据管理架构，逐步独立地出现在许多客户的应用场景中。这篇文章，让我们来看看这种新架构，有哪些技术特点和优势。
巨杉数据库SequoiaDB·2023-01-30 07:28

湖仓一体（Lakehouse）是什么？

本专栏目录结构和参考文献请见大数据理论体系WHAT湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。关于数据仓库请参考我的这篇博客——数据仓库是什么？
Shockang·2023-01-30 07:56

直播 | StarRocks 联合腾讯云分享 EMR-StarRocks 的降本增效之路

极速湖仓（Lakehouse）是StarRocks构建极速统一新范式的核心支点。
·2023-01-05 18:26

基于 Flink + Hudi 的实时数仓在 Shopee 的实践

本文首发于微信公众号“Shopee技术团队”摘要ApacheHudi是业内基于Lakehouse解决方案中的典型组件，相比于传统基于HDFS和Hive的数据仓库架构，基于ApacheHudi的Lakehouse
·2022-12-18 10:10

停止纠结，流批融合的极速 Lakehouse来了！

然而，数据湖架构在数据分析上仍面临着许多挑战，于是解决数据湖限制、结合了数据湖和数据仓库优势的新系统——Lakehouse
StarRocks_labs·2022-12-05 14:36

停止纠结，流批融合的极速 Lakehouse来了！

然而，数据湖架构在数据分析上仍面临着许多挑战，于是解决数据湖限制、结合了数据湖和数据仓库优势的新系统——Lakehouse
·2022-12-03 12:18

Apache Hudi X Apache Kyuubi，中国移动云湖仓一体的探索与实践

本文主要介绍移动云云原生大数据分析LakeHouse的整体架构、核心功能、关键技术点，以及在公有云/私有云的应用场景。主要内容包括：湖仓一体概述移动云L
·2022-12-01 13:51

现在的湖仓一体像是个伪命题

现在很热的湖仓一体（Lakehouse）也一样，如果能将数据湖和数据仓库融合在一起就可以同时发挥二者的价值。数据湖和数
橙子!·2022-11-28 11:42

Lakehouse系列 | StarRocks 支持 Apache Hudi 原理解析

作者：王日宇，StarRocksActiveContributor，阿里云高级研发工程师近年来，随着大数据分析技术的进步，大量业务场景对数据仓库的实时性提出了更高的要求，Lakehouse架构逐渐被各大公司熟悉和接受
StarRocks_labs·2022-11-21 09:09

峰会实录 | 基于StarRocks和腾讯云EMR构建云上Lakehouse

作者：腾讯云EMR业务负责人陈龙（本文为作者在StarRocksSummitAsia2022上的分享）我目前负责腾讯云EMR的研发工作，此前先后在百度、支付宝做后端研发。2011年加入腾讯，先后参与了腾讯云Redis、腾讯云云数据库、ApacheHBase（以下简称HBase）以及EMR等多款云产品的开发。我个人也向ApacheHive（以下简称Hive）等多个社区贡献过代码。今天主要分享：1.云
StarRocks_labs·2022-11-21 09:38

云上的云服务器、裸金属以及容器可以为 Lakehouse 提供海量的计算资源

基于这四个核心技术条件，在云基础平台上，如何一步一步去构建云上Lakehouse呢？首先从技术架构上拆解云上Lakehouse。从技术角度看，可以分为如下五层：1.计算资源层。
feidodoxcx·2022-11-15 10:07

如何实现云上 Lakehouse 高性能

1、StarRocks云上架构优化在可用性方面，StarRocks的架构简洁，整个系统核心只有FE和BE两类进程，不依赖外部任何主线，方便不属于维护。同时FE和BE模块可以在线水平扩散，元数据和数据都用副本机制，确保整个系统无单点。FE是StarRocks前端节点，负责管理元数据，管理客户端连接，进行查询规划查询调度。FE配置根据配置有两种类型的角色，Follow和观察者。Follow选出一个Le
feidodoxcx·2022-11-15 10:07

【湖仓一体化】存OR算之争？SPL 我都要

现在很热的湖仓一体（Lakehouse）也一样，如果能将数据湖和数据
Pushkin.·2022-09-14 18:17

基于Hudi的湖仓一体技术在Shopee的实践

Shopee技术团队」公众号，探索更多Shopee技术实践目录1.Shopee数据系统建设中面临的典型问题2.为什么选择Hudi3.Shopee在Hudi落地过程中的实践4.社区贡献5.总结与展望湖仓一体（LakeHouse
·2022-09-08 11:33

Apache Hudi X Apache Kyuubi，中国移动云湖仓一体的探索与实践

本文主要介绍移动云云原生大数据分析LakeHouse的整体架构、核心功能、关键技术点，以及在公有云/私有云的应用场景。主要内容包括：湖仓一体概述移动云L
·2022-09-06 17:33

活动预约｜9.3 Lakehouse Meetup

简介：9月3日下午13:30开始，一起探讨数据湖仓解决方案。9月3日下午13:30，飞天club与StreamNative联合举办LakehouseMeetup，邀请阿里巴巴、StreamNative的4位技术专家一起探讨数据湖仓解决方案。具体议程如下：01毕岩（寻径）｜阿里巴巴技术专家《基于数据湖格式构建数据湖仓架构》解析数据湖仓架构关键特性，并简述三个数据湖格式。结合DeltaLake和Hud
·2022-08-30 12:39

NewSQL、Lakehouse、HTAP及数据的未来

这是一篇关于数据库的现代数据栈的译文，来自前亚马逊、微软、Meta工程师LuhuiHu的文章《NewSQL,Lakehouse,HTAP,andtheFutureofData[1]》，帮助我们了解当前主流的数据库产品及未来趋势
·2022-08-29 09:48

基于 Apache Hudi 和DBT 构建开放的Lakehouse

本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式Lakehouse。我们很高兴地宣布，用户现在可以使用ApacheHudi+dbt来构建开放Lakehouse。
leesf·2022-08-21 17:00

Apache Hudi vs Delta Lake：透明TPC-DS Lakehouse性能基准

1.介绍最近几周，人们对比较Hudi、Delta和Iceberg的表现越来越感兴趣。我们认为社区应该得到更透明和可重复的分析。我们想就如何执行和呈现这些基准、它们带来什么价值以及我们应该如何解释它们添加我们的观点。2.现有方法存在哪些问题？最近Databeans发布了一篇博
leesf·2022-08-07 20:00

直播预约丨流式湖仓服务，大数据的终结？这场开源发布会为你揭晓！

数据基础设施发展的脚步从未停歇，当前风头正盛的是湖仓一体（Lakehouse）。湖仓一体，顾名思义是数据湖和数据仓库优势的结合。随着企业数智化
·2022-08-05 11:56

免费下载！《Databricks数据洞察：从入门到实践》

简介：本书从技术基础介绍到场景应用实践，帮助读者入门数据湖Lakehouse以及部分spark相关应用。
·2022-07-21 11:56

Data Lakehouse的未来-开放

Cloudera客户运行着地球上一些最大的数据湖。这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例（包括企业数据仓库）提供动力。近年来，创造了“数据湖仓（DataLakehouse）”一词来描述这种对数据湖中的数据进行表格分析的架构模式。在急于拥有这个术语的过程中，许多供应商忽略了这样一个事实，即数据架构的开放性是其持久性和寿命的保证。1.关于数据仓库和数据湖数据湖和数据仓库将大
·2022-07-14 13:33

深入理解Apache Hudi异步索引机制

在我们之前的文章中，我们讨论了多模式索引的设计，这是一种用于Lakehouse架构的无服务器和高性能索引子系统，以提高查询和写入性能。
leesf·2022-07-07 06:00

[LakeHouse] 数据湖之Iceberg一种开放的表格式

欢迎关注公众号“Tim在路上”今天来闲谈下数据湖三剑客中的iceberg。Iceberg项目2017年由Netflix发起，它是在2018年被Netflix捐赠给Apache基金会的项目。在2021年Iceberg的作者RyanBlue创建Tabular公司，发起以ApacheIceberg为核心构建一种新型数据平台。RyanBlue认为我们不是齿轮——我们是工匠，Iceberg的哲学的核心是让人
Tim在路上·2022-06-17 22:45

一文带你了解Lakehouse的并发控制：我们是否过于乐观

edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/354751.概述如今数据湖上的事务被认为是Lakehouse
www_xuhss_com·2022-06-17 13:07

超级重磅！Apache Hudi多模索引对查询优化高达30倍

在这篇博客中，我们讨论了我们如何重新构想索引并在ApacheHudi0.11.0版本中构建新的多模式索引，这是用于Lakehouse架构的首创高性能索引子系统，以优化查询和写入事
leesf·2022-06-12 17:00

Halodoc使用 Apache Hudi 构建 Lakehouse的关键经验

Halodoc数据工程已经从传统的数据平台1.0发展到使用LakeHouse架构的现代数据平台2.0的改造。
leesf·2022-06-09 14:00

印尼医疗龙头企业Halodoc的数据平台转型之Lakehouse架构

在我们之前的博客中，我们谈到了现有平台的挑战以及为什么我们需要采用LakeHouse架
leesf·2022-05-22 21:00

企业版Spark Databricks + 企业版Kafka Confluent 联合高效挖掘数据价值

简介：本文介绍了如何使用阿里云的ConfluentCloud和Databricks构建数据流和LakeHouse，并介绍了如何使用Databricks提供的能力来挖掘数据价值，使用SparkMLlib构建您的机器学习模型
·2022-05-19 11:02

Delta Lake基础介绍（商业版）

简介：介绍Lakehouse搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及vectorizedexecution达到优越的处理性能。
·2022-05-13 15:24

Apache Pulsar结合Hudi构建Lakehouse方案分析

目录1.动机2.分析3.当前方案4.新的Lakehouse存储方案4.1新的存储布局4.2支持高效Upserts4.3将Hudi表当做PulsarTopic4.4可扩展的元数据管理5.引用1.动机Lakehouse
·2022-03-31 10:55

Lakehouse数据湖并发控制陷阱分析

目录1.概述2.数据湖并发控制中的陷阱3.模型1：单写入，内联表服务4.模型2：单写入，异步表服务5.模型3：多写入1.概述如今数据湖上的事务被认为是Lakehouse的一个关键特征。
·2022-03-30 18:20

一文带你了解Lakehouse的并发控制：我们是否过于乐观

1.概述如今数据湖上的事务被认为是Lakehouse的一个关键特征。但到目前为止，实际完成了什么？目前有哪些方法？它们在现实世界中的表现如何？这些问题是本博客的重点。
leesf·2022-03-27 10:00

《Data Lakehouse in Action》学习笔记--第2章 Data LakeHouse架构概述

深思熟虑的架构是任何健壮的信息技术(IT)系统的基石，datalakehouse也不例外。上一章阐述了现代数据分析平台的必要性。还讨论了datalakehouse的演变。本章将重点讨论datalakehouse的关键元素。本章将从描述datalakehouse的系统上下文开始。然后，研究与datalakehouse交互的参与者和系统。我们将讨论由7层组成的datalakehouse的逻辑架构。然后
登峰大数据·2022-03-23 13:05

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
·2022-03-10 11:31

Databricks 企业版 Spark&Delta Lake 引擎助力 Lakehouse 高效访问

简介：本文介绍了Databricks企业版DeltaLake的性能优势，借助这些特性能够大幅提升SparkSQL的查询性能，加快Delta表的查询速度。作者：李锦桂（锦犀）阿里云开源大数据平台开发工程师王晓龙（筱龙）阿里云开源大数据平台技术专家背景介绍Databricks是全球领先的Data+AI企业，是ApacheSpark的创始公司，也是Spark的最大代码贡献者，核心围绕Spark、Delt
·2022-03-10 11:54

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
阿里云云栖号·2022-03-10 03:00

数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

索性我们就来个专题，聊透数据库、数据仓库、数据湖以及风头正劲的“Lakehouse”——湖仓一体化。数据仓库是个啥？和数据库有什么不同？数据库的基本概念，大家应该都不陌生。
hzbooks·2022-02-16 08:58

Apache RocketMQ + Hudi 快速构建 Lakehouse

本文目录背景知识大数据时代的构架演进RocketMQConnector&StreamApacheHudi构建Lakehouse实操本文标题包含三个关键词：Lakehouse、RocketMQ、Hudi。
·2022-02-16 03:34

印度欲自研系统以替代 iOS 和 Android；基于 OpenJDK 17 的龙芯平台 Java 环境发布；Python 即将支持 WebAssembly | 开源日报

基于OpenJDK17的龙芯平台Java环境发布开源Lakehouse平台Dremio完成1.6亿美元E轮融资，估值达到20亿美元！
开源头条·2022-02-08 11:12

Apache RocketMQ + Hudi 快速构建 Lakehouse

简介：基于RocketMQ和Hudi零代码构建Lakehouse架构，以及RocketMQConnector&RocketMQStream助力ETL数据分析，为大家提供快速构建Lakehouse的技术方案和低运维成本实现实时计算的解决方案
·2022-01-20 10:22

Lakehouse 架构解析与云上实践

简介：本文整理自DataFunCon2021大会上，阿里云数据湖构建云产品研发陈鑫伟的分享，主要介绍了Lakehouse的架构解析与云上实践。
·2021-12-28 15:14

从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤

从Hadoop迁移到基于云的现代架构（比如Lakehouse架构）的决定是业务决策，而非技术决策。我们在之前的文章中探讨了每一个组织都必须重新评估他们与Hadoop的关系的原因。
·2021-11-29 10:05

技术干货｜ 阿里云基于Hudi构建Lakehouse实践探索

简介：阿里云高级技术专家王烨(萌豆)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题介绍了阿里云如何使用Hudi和OSS对象存储构建Lakehouse，为大家分享了什么是
·2021-09-09 11:12

技术干货｜ 阿里云基于Hudi构建Lakehouse实践探索

简介：阿里云高级技术专家王烨(萌豆)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题介绍了阿里云如何使用Hudi和OSS对象存储构建Lakehouse，为大家分享了什么是
·2021-09-07 11:46

Data Lakehouse (湖仓一体) 到底是什么

本文转载自https://mp.weixin.qq.com/s/Il...背景数据湖（DataLake)，湖仓一体（DataLakehouse）俨然已经成为了大数据领域最为火热的流行词，在接受这些流行词洗礼的时候，身为技术人员我们往往会发出这样的疑问，这是一种新的技术吗，还是仅仅只是概念上的翻新（新瓶装旧酒）呢？它到底解决了什么问题，拥有什么样新的特性呢？它的现状是什么，还存在什么问题呢？带着这些
鸿乃江边鸟·2020-12-07 09:36
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他