hudi

使用 Apache Hudi、Kafka、Hive 和 Debezium 构建开放数据湖

总览在接下来的文章中，我们将学习如何使用开源软件(OSS)在AWS上构建数据湖，包括RedHat的Debezium、ApacheKafka、KafkaConnect、ApacheHive、ApacheSpark、ApacheHudi和HudiDeltaStreamer。我们将使用完全托管的AWS服务来托管数据源、数据湖和开源工具。这些服务包括AmazonRDS、MKS、EKS、EMR和S3。工作流
BigDataToAI·2023-07-15 01:16

基于Apache Hudi 的CDC数据入湖

点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜CDC背景介绍首先我们介绍什么是CDC？CDC的全称是ChangedataCapture，即变更数据捕获，它是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。它的应用比较广，可以做一些数据同步、数据分发和数据采集，还可以做ETL，今天主要分享的也是把DB数据通过CDC的方式ETL到数据湖。对于CDC，业
王知无(import_bigdata)·2023-07-15 01:46

使用Flink MySQL cdc分别sink到ES、Kafka、Hudi

环境说明[flink-1.13.1-bin-scala_2.11.tgz](https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz)[hadoop-2.7.3.tar.gz](https://archive.apache.org/dist/hadoop/common/hadoop-2.7.
白杨Shayne·2023-07-15 01:44

FlinkCDC-Hudi:Mysql数据实时入湖全攻略四：两种FlinkSql kafka connector的特征与应用

前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案
大数据点灯人·2023-07-15 01:12

基于Apache Hudi构建智能湖仓实践（附亚马逊工程师代码）

数据仓库的数据体系严格、治理容易，业务规模越大，ROI越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI越低，但胜在灵活。现在，鱼和熊掌我都想要，应该怎么办？湖仓一体架构就在这种情况下，快速在产业内普及。要构建湖仓一体架构并不容易，需要解决非常多的数据问题。比如，计算层、存储层、异构集群层都要打通，对元数据要进行统一的管理和治理。对于很多业内技术团队而言，已经是个比较大的挑战。可即便如此，
小晨说数据·2023-07-15 01:10

百信银行基于 Apache Hudi 实时数据湖演进方案

简介：本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在Hudi上的方案和实践方法，以及实时计算平台集成Hudi和使用Hudi的方式。
阿里开发者·2023-07-15 01:39

Apache Hudi DeltaStreamer 接入CDC数据时如何完成 Kafka 的身份认证？

题目有些拗口，简短截说，我们对于ApacheHudiDeltaStreamer在接入CDC数据时，对于其如何通过Kafka的身份认证，做了一系列测试和研究，有如下明确结论：. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
　Laurence·2023-07-15 01:06

数据湖之Hudi源码编译

二、下载源码包到Apache软件归档目录下载Hudi0.8源码包:http://archive.apache.org/dist/hudi/0.9.0/wgethttps://archive.apache.org
不知名的。。。·2023-07-14 10:01

hudi0.13.0编译

Hudi0.13编译-知乎(zhihu.com)HudiHivesync使用-简书(jianshu.com)[SUPPORT]CompileErrorofhudi-0.13.0"org.apache.hadoop.hive.common.typecannotbeconvertedtojava.sql.Date
州周·2023-07-14 10:31

【Hudi数据湖-1-Hudi编译】

Hudi数据湖-1-Hudi编译ApacheHudi（HadoopUpsertsDeleteandIncremental）1.Hudi是什么2.Hudi架构图3.Hudi特性4.Hudi使用场景5.编译安装
Apache Minor Trend·2023-07-14 10:28

Hudi编译

编译hudi首先安装maven，修改仓库为aliyun，准备进行maven编译。
寒 暄·2023-07-14 10:54

Hudi学习5：Hudi的helloworld-编译源码

hudi是使用java代码编写的部署hudi1.下载源码Download|ApacheHudihttps://dlcdn.apache.org/hudi/0.13.1/hudi-0.13.1.src.tgz2
hzp666·2023-07-14 10:47

数据湖架构之Hudi编译篇

前言说起编译hudi，从第一遍过之后，再回过头来看，发现就是第一遍不熟悉，出现的一切问题可以总结为maven仓库没配置好。
敏叔V587·2023-07-14 10:39

apache hudi 初见

gitclonehttps://gitee.com/apache/Hudi.gitdockerpullyml文件里面的镜像然后docker-compose-fdocker-compose_hadoop284
GP0000968523·2023-07-13 20:25

深度对比 Delta、Iceberg 和 Hudi 三大开源数据湖方案

深度对比Delta、Iceberg和Hudi三大开源数据湖方案目前市面上流行的三大开源数据湖方案分别为：Delta、ApacheIceberg和ApacheHudi。
岁月的眸·2023-06-24 08:39

HUDI原理及深入探究(一)

01.背景首先介绍下Hudi的背景，因为背景对理解一个项目很关键。Hudi，正式的全称是HadoopUpsertDeleteandIncremental。
shining_yyds·2023-06-21 04:48

【Hudi】Filnk Sink 端链路源码解读（Insert、Update、Upsert）

1基本概念注：本文基于的源码版本为Hudi0.13-SNAPSHOT。
·2023-06-19 20:48

Apache Hudi初探(七)(与spark的结合)

背景目前hudi的与spark的集合还是基于sparkdatasourceV1来的，这一点可以查看hudi的source实现就可以知道:classDefaultSourceextendsRelationProviderwithSchemaRelationProviderwithCreatableRelationProviderwithDataSourceRegisterwithStreamSink
鸿乃江边鸟·2023-06-19 07:13

Apache Hudi初探(一)(与flink的结合)

背景和Spark的使用方式不同，flink结合hudi的方式，是以SPI的方式，所以不需要像使用Spark的方式一样,Spark的方式如下：spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtensionspark.sql.catalog.spark_catalog
鸿乃江边鸟·2023-06-19 07:11

阿里云EMR自定义日志投递与使用实践分享

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi
Apache Spark中国社区·2023-06-18 05:42

Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive

1.架构图2.实现实例2.1通过flinkcdc的两张表合并成一张视图，同时写入到数据湖(hudi)中同时写入到kafka中2.2实现思路1.在flinksql中创建flinkcdc表2.创建视图(用两张表关联后需要的列的结果显示为一张速度
wudl5566·2023-06-16 15:35

Apache Paimon 在同程旅行的探索实践

在同程旅行的业务场景下，通过使用Paimon替换Hudi，实现了读写性能的大幅提升（写入性能3.3倍，查询性能7.7倍），接下来将分为如下几个部分进行详细介绍：湖仓场景现状和遇到的问题遇见ApachePaimonApachePaimon
·2023-06-14 18:14

Apache Hudi初探(九)(与spark的结合)--非bulk_insert模式

背景之前讨论的都是’hoodie.datasource.write.operation’:'bulk_insert’的前提下，在这种模式下，是没有json文件的已形成如下的文件：/dt=1/.hoodie_partition_metadata/dt=1/2ffe3579-6ddb-4c5f-bf03-5c1b5dfce0a0-0_0-41263-0_20230528233336713.parque
鸿乃江边鸟·2023-06-13 22:52

hudi系列-小文件优化

hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。
矛始·2023-06-13 20:46

hudi系列-upsert写过程

hudi0.13.0mor表+insert/upsert或cow表+upsertflink状态索引核心类为BucketAssignFunction和StreamWriteFunction由于存在着语义上的迷惑
矛始·2023-06-13 20:46

hudi系列-文件系统视图(FileSystemView)

hudi表的数据一直在演变过程中，存储在文件系统中的数据文件也在不断增加和版本迭代，hudi提供了表级别的文件系统视图(filesystemview)来简单、直观地了解表中的数据分布情况、数据文件的状态和变化
矛始·2023-06-13 20:45

直播预告 | 博睿学院：算法平台底座-数据湖应用

数据湖的三种常用管理工具分别是Delta、Hudi和Iceberg。那么，究竟哪一种管理工具才是最优解呢？本期课程从7个维度对比上述三种管理工具，为大家讲解Iceberg的框架、优势以及应用实践。
·2023-06-13 18:32

快手流批一体数据湖构建实践

主要内容包括以下四大部分：1.数据湖架构2.基于Hudi构建快手数据湖3.快手的实践案例4.快手的发展规划01数据湖架构：从离线数仓到湖仓一体的转变数据建设的核心目标一般为：①标准统一；②可共享；③简单易用
Openlab.cosmoplat·2023-06-13 17:56

hudi系列-append写过程

cow+insert一直是append模式，mor+insert在0.13.1后也统一走append写流程(HUDI-6045)在0.13.1之前，mor+insert存在着写parquet和写log两种情况
矛始·2023-06-13 12:44

终于定了，小海豚再度牵手数据湖三剑客之一 Apache Hudi社区！

王昱翔，活动组织者社区Contributor读完需要10分钟随着大数据技术的快速发展，数据调度、数据湖的构建和数据存储变得越来越重要。数据处理的复杂性、分布式环境下的数据调度问题、PB级别数据入湖的实践、记录级索引的应用等，都已经成为了大数据工程师面临的关键问题。在大数据的海洋中，如何寻找到最有效的调度工具，最实用的数据入湖实践，最深入的记录级索引应用呢？为了帮助大数据工程师们寻找到最适合自己的解
DolphinScheduler社区·2023-06-13 10:44

k8s hudi表快速测试指南

ubuntu安装nfs服务sudoapt-getinstallnfs-kernel-serversudovim/etc/exports/data1/nfs/rootfs*(rw,sync,no_root_squash,no_subtree_check)解析：/data1/nfs/rootfs——NFS服务器端的目录，用于与nfs客户端共享*——允许所有的网段访问，也可以使用具体的IPrw——挂接此
BigDataToAI·2023-06-13 01:40

Apache Hudi 0.12.2发布

长期支持版本我们的目标是维护0.12更长时间，并通过最新的0.12.x版本提供稳定版本供用户迁移。此版本(0.12.2)是最新的0.12版本。迁移指南此版本(0.12.2)没有引入任何新的表版本，因此如果您使用的是0.12.0，则无需迁移。如果从旧版本迁移，请查看之前发行说明中的迁移指南，特别是0.6.0,0.9.0,0.10.0,0.11.0,and0.12.0.中的升级说明。bug修复0.12
BigDataToAI·2023-06-13 01:40

ByteLake：字节跳动基于Apache Hudi的实时数据湖平台

本篇内容包含四个部分，首先介绍一下Hudi，其次介绍字节的实时数据湖平台ByteLake的应用场景；然后针对应用场景，字节做的优化和新特性；最后介绍未来规划。
大数据技术架构·2023-06-10 21:20

【Hudi】数据湖

1.数据湖是什么？数据湖：定义、特点和应用数据湖系统以原始格式存储数据，可以存储结构化（表格或图形）、半结构化（CSV、JSON、日志）、非结构化（电子邮件、文档）和二进制数据（音频、照片等）。数据湖与其他数据系统主要区别如下：易用，数据湖可以存储不同来源、不同类型的数据，方便进一步分析和重新安置组织和结构化，数据是以原始格式进行实时收集和存储实惠，能为任何规模的数据提供划算的价格适用于任何时间框
Learn Forever·2023-06-10 21:50

Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践

原文：FlinkCDC+Hudi+Hive+Presto构建实时数据湖最佳实践摘要：本文作者罗龙文，分享了如何通过FlinkCDC、Hudi、Hive、Presto等构建数据湖。
javastart·2023-06-09 07:08

基于数据湖的流批一体：flink1.15.3与Hudi0.12.1集成，并配置基于CDH6.3.2的hive catalog

前言：为实现基于数据湖的流批一体，采用业内主流技术栈hudi、flink、CDH（hive、spark）。
吴培洪·2023-06-09 02:49

Hudi编译安装

文章目录编译环境准备编译Hudi上传源码包修改pom文件修改源码兼容hadoop3手动安装Kafka依赖解决spark模块依赖冲突执行编译命令编译成功编译环境准备Hadoop3.1.3Hive3.1.2Flink1.13.6
Alienware^·2023-06-09 02:48

Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2

Hudi搭建https://blog.csdn.net/weixin_46389691/article/details/128276527环境准备一、安装Maven1.解压2.配置环境变量3.修改Maven
hzp666·2023-06-09 02:46

IDEA 中使用 Hudi

环境准备创建Maven项目创建服务器远程连接Tools------Delployment-----BrowseRemoteHost设置如下内容：在这里输入服务器的账号和密码点击TestConnection，提示Successfully的话，就说明配置成功。复制Hadoop的core-site.xml、hdfs-site.xml以及log4j.properties三个文件复制到resources文件
半岛铁子_·2023-06-09 02:16

数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查

二、数据湖hudi快速上手2.1编译hudi源码Hadoop3.1.3Hive3.1.2Flink1.13.6，scala-2.12Spark3.2.2，scala-2.122.1.1环境准备[root
undo_try·2023-06-09 02:15

数据湖与数据仓库区别

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、DeltaLake。
000X000·2023-06-08 22:49

Hudi表创建时HDFS上的变化

SparkSQL建Hudi表语句：CREATETABLEt71(dsBIGINT,utSTRING,pkBIGINT,f0BIGINT,f1BIGINT,f2BIGINT,f3BIGINT,f4BIGINT
一见·2023-06-07 18:56

Apache Hudi初探(八)(与spark的结合)--非bulk_insert模式

背景之前讨论的都是’hoodie.datasource.write.operation’:'bulk_insert’的前提下，在这种模式下，是没有json文件的已形成如下的文件：/dt=1/.hoodie_partition_metadata/dt=1/2ffe3579-6ddb-4c5f-bf03-5c1b5dfce0a0-0_0-41263-0_20230528233336713.parque
鸿乃江边鸟·2023-06-07 17:38

Hudi 源码之数据写入逻辑

背景本篇以Flink操作Hudi表为例，分析COW表和MOR表的upsert以及insert操作详细的执行流程。
AlienPaul·2023-06-01 10:22

Spark : 多线程提交优化多Job任务

介绍在日常业务中,spark常见的就是通过路径通配符*,{}等方式一次读取多个文件,一次批处理将这些文件做一个大job写入Hive或者ODPS,笔者最近在用Spark读取Hudi的文件时候发现了一个诡异的文件丢失
dinl_vin·2023-04-21 12:07

hudi系列-增量查询ckp超时

环境hudi0.11.1flink1.14.5MOR表，按天分区，约几百个，每个分区下基本只有一个base文件(最近的分区文件也不多)AlignedCheckpointscheckpointtimeout10
矛始·2023-04-21 04:14

hudi系列-基于cdc应用与优化

1.CDC是个好东西曾经做数据同步受存储引擎和采集工具的限制，经常都是全量定时同步，亦或是以自增ID或时间作为增量的依据进行增量定时同步，无论是哪种，都存在数据延时较大、会重复同步不变的数据、浪费资源等问题。后来刚接触canal时还大感惊奇，基于mysql的binlog可以这么方便实时同步最新数据，然而历史数据的初始化仍然得使用第三方ETL工具来全量同步。直到flinkcdc项目诞生，完全解决了前
矛始·2023-04-21 04:13

hudi系列-数据写入方式及使用场景

hudi支持多种数据写入方式：insert、bulk_insert、upsert、boostrap，我们可以根据数据本身属性(append-only或upsert)来选择insert和upsert方式，
矛始·2023-04-21 04:43

Hudi集成Flink-写入方式

创建测试表1.2.1、创建mysql表1.2.2、将binlog日志写入kafka1、使用mysql-cdc监听binlog2、kafka作为sink表3、写入sink表1.2.3、将kakfa数据写入hudi1
宝哥大数据·2023-04-21 00:31

【IDEA】数据湖 Hudi 0.12.0 基础使用

文章目录创建Maven项目插入数据查询数据更新数据增量查询删除数据前言集群系统：CentOS7.5服务器信息：服务器角色IPhadoop104服务器Master192.168.0.104hadoop105服务器Slave1192.168.0.105hadoop106服务器Slave2192.168.0.106使用的组件版本如下：组件名称版本号JDK1.8Hadoop3.1.3Spark3.1.1H
月亮给我抄代码·2023-04-20 21:58
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他