ApacheHudi

数据湖三大框架

一、数据湖框架目前市面上流行的三大开源数据湖方案分别为：DeltaLake、ApacheIceberg和ApacheHudi1、DeltaLake：DataBricks公司推出的一种数据湖方案，官网2、
Hub-Link·2023-04-10 09:15

Hudi 概念和特性

Hudi概念ApacheHudi是一个DataLakes的开源方案，Hudi是HadoopUpdatesandIncrementals的简写，它是由Uber开发并开源的DataLakes解决方案。
AlienPaul·2023-04-03 00:26

Apache Hudi使用简介

而本文探讨的ApacheHudi，对应的场景是数据的实时，而非处理的实时。它旨在将Mysql中的数据以近实时的方式映射到大数据平台，比如H
youngflyer·2023-04-01 23:41

Apache 数据湖Hudi详解一

ApacheHudi代表HadoopUpsertsanDIncrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。
写轮眼之大数据·2023-04-01 23:06

数据湖 | Apache Hudi 设计与架构最强解读

4.1写时复制（CopyOnWrite）表4.2读时合并（MergeOnRead）表5.写设计5.1写5.2压缩5.3清理5.4DFS访问优化6.查询6.1快照查询6.2增量查询6.3读优化查询本文将介绍ApacheHudi
Mathieu66·2023-04-01 23:54

数据湖架构Hudi（三）Hudi核心概念

三、ApacheHudi核心概念3.1基本概念Hudi提供了Hudi表的概念，这些表支持CRUD操作，可以利用现有的大数据集群比如HDFS做数据文件存储，然后使用SparkSQL或Hive等分析引擎进行数据分析查询
undo_try·2023-04-01 23:09

数据湖技术之 Hudi 框架概述

DataLake1.1.1仓库和湖泊1.1.2什么是数据湖1.1.4DataLakevsDatawarehouse1.1.5数据湖框架1.1.5.1DeltaLake1.1.5.2ApacheIceberg1.1.5.3ApacheHudi1.1.6
潘小磊·2023-03-14 11:58

「Apache Hudi系列」核心概念与架构设计总结

点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜简介ApacheHudi依赖HDFS做底层的存储，所以可以支撑非常大规模的数据存储。同时基于下面两个原语，Hudi可以解决流批一体的存储问题。
王知无(import_bigdata)·2023-03-14 11:23

Hudi原理 | 一文彻底弄懂Apache Hudi不同表类型

1.摘要ApacheHudi提供了不同的表类型供根据不同的需求进行选择，提供了两种类型的表•CopyOnWrite(COW)•MergeOnRead(MOR)2.术语介绍在深入研究COW和MOR之前，让我们先了解一下
大数据技术架构·2023-03-14 11:53

Apache Hudi简介、与Kudu、Hive、 HBase对比

一、ApacheHudi数据实时处理和实时的数据实时分为处理的实时和数据的实时，即席分析是要求对数据实时的处理，马上要得到对应的结果，Flink、SparkStreaming是用来对实时数据的实时处理，
四月天03·2023-03-14 11:47

【Hudi】Apache Hudi 设计与架构最强解读

本文将介绍ApacheHudi的基本概念、设计以及总体基础架构。
九层之台起于累土·2023-03-14 11:13

【Hudi】Apache Hudi 设计与架构最强解读

本文将介绍ApacheHudi的基本概念、设计以及总体基础架构。
九层之台起于累土·2023-03-10 08:40

干货！Apache Hudi如何智能处理小文件问题

欢迎关注微信公众号：ApacheHudi1.引入ApacheHudi是一个流行的开源的数据湖框架，Hudi提供的一个非常重要的特性是自动管理文件大小，而不用用户干预。
xleesf·2023-01-31 22:50

Hudi系列1:Hudi介绍

ApacheHudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表，事务，高效upserts/删除，高级索引，流式摄取服务，数据群集/压缩优化以及并发，同时保持数据以开源文件格式保留。
只是甲·2023-01-31 22:18

基于Apache Hudi + MinIO 构建流式数据湖

ApacheHudi是一个流式数据湖平台，将核心仓库和数据库功能直接引入数据湖。
zxfBdd·2023-01-31 22:18

【Hudi】Apache Hudi如何智能处理小文件问题

1.引入ApacheHudi是一个流行的开源的数据湖框架，Hudi提供的一个非常重要的特性是自动管理文件大小，而不用用户干预。
九层之台起于累土·2023-01-31 22:17

Hudi的insert

如何将数据更快导入ApacheHudi？文章围绕的对象是bulk_insert:其中包含三种原生模式和支持自定义拓展模式。
ZL_bigdata·2023-01-31 22:47

技术干货｜ 阿里云基于Hudi构建Lakehouse实践探索

简介：阿里云高级技术专家王烨(萌豆)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题介绍了阿里云如何使用Hudi和OSS对象存储构建Lakehouse，为大家分享了什么是
阿里开发者·2023-01-30 07:59

Hudi学习一：Hudi简介

一、ApacheHudi基本介绍Hudi是HadoopUpdatesandIncrementals的简写，它是由Uber开发并开源的DataLakes解决方案。
Hub-Link·2023-01-11 21:26

Hudi入门到实战

简介ApacheHudi（HadoopUpsertsDeleteandIncremental）是下一代流数据湖平台。ApacheHudi将核心仓库和数据库功能直接引入数据湖。
顶尖高手养成计划·2022-12-21 07:13

基于 Flink + Hudi 的实时数仓在 Shopee 的实践

本文首发于微信公众号“Shopee技术团队”摘要ApacheHudi是业内基于Lakehouse解决方案中的典型组件，相比于传统基于HDFS和Hive的数据仓库架构，基于ApacheHudi的Lakehouse
·2022-12-18 10:10

使用 Flink Hudi 构建流式数据湖平台

主要内容包括：ApacheHudi101FlinkHudiIntegrationFlinkHudiUseCaseApacheHudiRoadmapTips：点击「阅读原文」查看原文视频&演讲PDF～一、
Apache Flink·2022-12-08 10:14

Flink+hudi 构架沧湖一体化解决方案

简介ApacheHudi(发音为"Hoodie")在DFS的数据集上提供以下流原语插入更新(如何改变数据集？)增量拉取(如何获取变更的数据？)
王知无(import_bigdata)·2022-12-08 10:11

Hudi on Flink 的集成

HudionFlink的集成一、背景二、环境准备三、Batch模式的读写四、Streaming读五、总结一、背景ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics[
明月清风，良宵美酒·2022-12-04 19:37

直播预告ｌApache Hudi 中文社区技术交流会第六弹

ApacheHudi（以下简称Hudi）是新一代流式数据湖平台，支持插入、更新、删除以及增量数据处理，可助力构建高效的企业级数据湖，已被全球多个大型企业在实际生产环境中应用。
StarRocks_labs·2022-12-01 19:04

大数据_湖仓一体:下一代存储解决方案

目录一、什么是湖仓一体二、湖仓一体架构的特点三、常见框架1、ApacheHudi2、ApacheIceberg3、DeltaLake数据库早已解决了数据问题，但无法满足现代使用场景和作业的需求。
Happy编程·2022-11-24 23:47

Lakehouse系列 | StarRocks 支持 Apache Hudi 原理解析

StarRocksActiveContributor，阿里云高级研发工程师近年来，随着大数据分析技术的进步，大量业务场景对数据仓库的实时性提出了更高的要求，Lakehouse架构逐渐被各大公司熟悉和接受，ApacheHudi
StarRocks_labs·2022-11-21 09:09

1024，我们干了点儿大事 | StarRocks 2.4 新版本特性介绍

StarRocks近期发布了2.4版本，核心功能有：多表物化视图，无状态的ComputeNode（CN）以及StarRocksKubernetes(K8s)Operator，catalog支持ApacheHudi
StarRocks_labs·2022-11-21 09:07

使用 Flink Hudi 构建流式数据湖

主要内容为：1.背景2.增量ETL3.演示一、背景近实时从2016年开始，ApacheHudi社区就开始通过Hudi的UPSERT能力探索近实时场景的使用案例[1]。通过MR/Spa
阿里云技术·2022-11-01 13:12

实时数据湖 Flink Hudi 实践探索

所以，今天我介绍的主题是Flink和Hudi在数据湖Streaming方向的一些探索和实践，将会围绕以下四点展开：ApacheHudi背景介绍FlinkHudi设计Hudi应用
阿里云大数据AI技术·2022-11-01 13:41

Hudi

目录数据湖技术选型-Hudi；Iceberg；DataLakeHudiHudi的前世今生：1.1.1什么是ApacheHudi1.1.2Hudi支持的文件格式1.1.3表格式1.1.2使用Hudi的优点
xu-ning·2022-10-18 17:23

Apache Hudi技术与架构-1

1前言ApacheHudi是大数据领域中新一代的基于流式计算的数据存储平台，又称之为数据湖平台（DataLakePlatform），其综合传统的数据库与数据仓库的核心功能，提供多样化的数据集成、数据处理以及数据存储的平台能力
uesowys·2022-10-08 08:27

技术干货｜基于Apache Hudi 的CDC数据入湖「内附干货PPT下载渠道」

简介：阿里云技术专家李少锋(风泽)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题将介绍典型CDC入湖场景，以及如何使用Pulsar/Hudi来构建数据湖，
阿里云云栖号·2022-09-21 18:14

技术干货｜基于Apache Hudi 的CDC数据入湖

简介：阿里云技术专家李少锋(风泽)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题将介绍典型CDC入湖场景，以及如何使用Pulsar/Hudi来构建数据湖，
阿里云开发者·2022-09-21 18:12

基于 Apache Hudi 和DBT 构建开放的Lakehouse

我们很高兴地宣布，用户现在可以使用ApacheHudi+dbt来构建开放Lakehouse。在深入了解细节之前，让我们先澄清一下本博客中使用的一些术语。什么是ApacheHudi？Apac
leesf·2022-08-21 17:00

Flink+Hudi 构架湖仓一体化解决方案

新架构与湖仓一体最佳实践FlinkonHudiFlinkCDC2.0onHudiTips：FFA2021重磅开启，点击「阅读原文」即可报名～GitHub地址欢迎大家给Flink点赞送star~一、Hudi1.简介ApacheHudi
Apache Flink·2022-07-29 10:32

基于Apache Hudi + Flink的亿级数据入湖实践

edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/35475本次分享分为5个部分介绍ApacheHudi
虚幻私塾·2022-07-29 10:00

flink实战--flinkSQL数据写入hudi

关注微信公众号【BigData512】,了解更多大数据技术，还有免费资料等你哦简介ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics集成了Hudi服务高效的数据MERGE
阿华田512·2022-07-29 10:25

超级重磅！Apache Hudi多模索引对查询优化高达30倍

与许多其他事务数据系统一样，索引一直是ApacheHudi不可或缺的一部分，并且与普通表格式抽象不同。
leesf·2022-06-12 17:00

Hudi数据湖简介

今天跟大家分享的大数据产品叫ApacheHudi，Hudi是HadoopUpdatesandIncrementals的简写，它是由Uber开发并开源的DataLakes解决方案。
阿福Chris·2022-05-31 07:40

数据湖架构开发-Hudi入门教程

当下最流行数据湖框架ApacheHudi，使用HDFS存储数据，集成Spark、Flink、Hive等分析数据，逐步在大中型公司中使用，构建湖仓一体化架构。
是一只萨摩耶·2022-05-31 07:10

使用Apache Hudi 加速传统的批处理模式的方法

“新”重复数据删除策略4.ApacheHudi的优势ApacheHudi(简称：Hudi)使得您能在had
·2022-04-24 11:58

Apache Hudi - 初步了解

utm_source=com.ucmobile自己关于ApacheHudi的一些简单的了解和想法。背景Hudi是Uber主导开发的开源数据湖框架。
万州客·2022-04-07 09:41

Apache Hudi的多版本清理服务彻底讲解

目录1.回收空间以控制存储成本2.问题描述3.深入了解Hudi清理服务4.清理服务5.例子6.配置7.运行命令8.未来计划ApacheHudi提供了MVCC并发模型，保证写入端和读取端之间快照级别隔离。
·2022-03-30 22:42

深入解析Apache Hudi内核文件标记机制

ApacheHudi在写入时引入标记机制来有效跟踪写入存储的数据文件。在本博客中，我们将深入探讨现有直接标记文件机制的设计，并解释了其在云存储（如AWSS3、AliyunOSS）上针对非常大批
·2022-03-30 22:11

Apache Hudi数据布局黑科技降低一半查询时间

Clustering架构2.1调度Clustering2.2运行Clustering2.3Clustering配置3.表查询性能3.1进行Clustering之前3.2进行Clustering之后4.总结1.背景ApacheHudi
·2022-03-30 20:07

Apache Hudi结合Flink的亿级数据入湖实践解析

4.基于Flink+Hudi的落地数据实践5.后续应用规划及展望5.1取代离线报表，提高报表实时性及稳定性5.2完善监控体系，提升落数据任务稳定性5.3落数据中间过程可视化探索本次分享分为5个部分介绍ApacheHudi
·2022-03-30 18:23

Apache Hudi性能提升三倍的查询优化

文章中比较了2个ApacheHudi表（均
·2022-03-30 18:21

Apache Hudi灵活的Payload机制硬核解析

1.摘要ApacheHudi的Payload是一种可扩展的数据处理机制，通过不同的Payload我们可以实现复杂场景的定制化数据写入方式，大大增加了数据处理的灵活性。
·2022-03-30 15:42

Vertica集成Apache Hudi重磅使用指南

目录1.摘要2.ApacheHudi介绍3.环境准备4.Vertica和ApacheHudi集成4.1在ApacheSpark上配置ApacheHudi和AWSS34.2配置Vertica和ApacheHUDI
·2022-03-30 15:40
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他