Hudi

数据湖技术之Hudi 集成 Spark

数据湖技术之Hudi集成Spark数据湖框架Hudi，从诞生之初支持Spark进行操作，后期支持Flink，接下来先看看与Spark整合使用，并且在0.9.0版本中，提供SparkSQL支持，编写DDL
潘小磊·2023-08-13 02:51

SparkSQL操作Hudi指南

文章目录一、SparkSQL连接Hudi1.1Hive配置1.2SparkSQL连接Hudi二、创建表2.1常规的建表2.2CTAS三、插入数据四、查询数据五、更新数据5.1普通5.2MergeInto
王知无(import_bigdata)·2023-08-13 02:21

Hudi 集成 Spark 数据分析示例（含代码流程与测试结果）

文章目录数据集数据处理目标整体项目结构数据ETL与保存代码编写测试结果指标查询分析代码编写测试结果集成Hive查询创建Hive连接使用hql进行查询参考资料数据集数据为2017年5月1日-10月31日（半年）海口市每天的订单数据，包含订单的起终点经纬度以及订单类型、出行品类、乘车人数的订单属性数据。百度网盘连接：链接：https://pan.baidu.com/s/1e1hhf0Aag1ukWiR
半岛铁子_·2023-08-13 02:20

Hudi（六）集成Hive

Hudi源表对应一份HDFS数据，通过Spark，Flink组件或者HudiCLI，可以将Hudi表的数据映射为Hive外部表，基于该外部表，Hive可以方便的进行实时视图，读优化视图以及增量视图的查询
Yuan_CSDF·2023-08-13 02:20

CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark

《大数据平台架构与原型实现：数据中台建设实战》一书由博主历时三年精心创作，现已通过知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。ApacheHudi的DeltaStreamer是一种以近实时方式摄取数据并写入
　Laurence·2023-08-12 11:46

04_Hudi 集成 Spark、保存数据至Hudi、集成Hive查询、MergeInto 语句

本文来自"黑马程序员"hudi课程4.第四章Hudi集成Spark4.1环境准备4.1.1安装MySQL5.7.314.1.2安装Hive2.14.1.3安装Zookeeper3.4.64.1.4安装Kafka2.4.14.2
涂作权的博客·2023-08-12 00:17

02_快速体验 Hudi、编译 Hudi、安装HDFS、安装Spark 3.x、模拟数据、插入数据、查询数据、.hoodie文件、数据文件、Hudi 数据存储概述、Metadata 元数据等

本文来自"黑马程序员"hudi课程2.第二章快速体验Hudi2.1编译Hudi2.1.1第一步、Maven安装2.1.2第二步、下载源码包2.1.3第三步、添加Maven镜像2.1.4第四步、执行编译命令
涂作权的博客·2023-08-11 23:46

01_Hudi 框架概述、数据湖Data Lake、什么是数据湖、数据湖框架、背景概述、Hudi 介绍、Hudi 发展及特性等

本文来自"黑马程序员"hudi课程1.第一章Hudi框架概述1.1数据湖DataLake1.1.1仓库和湖泊1.1.2什么是数据湖1.1.3数据湖的优点1.1.4DataLakevsDatawarehouse1.1.5
涂作权的博客·2023-08-11 23:45

03_Hudi 核心概念、时间轴Timeline、文件管理、索引Index、存储类型、计算模型、批式模型Batch、流式模型Stream、增量模型Incremental、查询类型、数据写操作流程等

本文来自"黑马程序员"hudi课程3.第三章Hudi核心概念3.1基本概念3.1.1时间轴Timeline3.1.2文件管理3.1.3索引Index3.2存储类型3.2.1计算模型3.2.1.1批式模型
涂作权的博客·2023-08-11 23:15

Dinky实践系列之FlinkCDC整库实时入仓入湖

内容包括：前言环境要求源库准备整库同步参数介绍整库入湖Hudi整库入仓StarRocks整库入库MySQL整库同步Kafka整库入库PostgreSQL整库入仓ClickHouse总结一、前言Dinky
jason275·2023-08-10 18:15

开源经验分享 | 如何从一名小白成为Apache Hudi Contributor

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun前言参与ApacheHudi开源有一年多的时间了，马上1024了，虽然距离成为ApacheHudiCommiter还有很遥远的距离，但还是想跟大家分享一下自己的开源经验，讲一下自己如何从开源小白成为ApacheHudiContrib
董可伦·2023-08-10 18:01

将图片存入数据湖Hudi

以下是一个简单的示例代码，展示了如何使用Java和Hudi将图片的路径存储到Hudi表中：importorg.apache.hud
贾斯汀玛尔斯·2023-08-09 20:45

数据湖真的能取代数据仓库吗？【SNP SAP数据转型 】

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、DeltaLake。
snpgroupcn·2023-08-08 14:49

使用 docker-compose 搭建 Doris 和 Hudi 测试环境

docker-compose.ymlversion:"3.3"services:namenode:image:registry.cn-hangzhou.aliyuncs.com/jensenchen/hudi-hadoop
一只努力的微服务·2023-08-06 20:15

Apache Hudi初探(十一)(与spark的结合)--hudi的markers机制

背景在之前的文章中hudi的Compaction操作中，completeTableService中其实会有deleteMarker的操作，那为什么会有这个操作呢？
鸿乃江边鸟·2023-08-06 19:22

Apache Hudi初探(十)(与spark的结合)--hudi的Compaction操作

背景在之前的文章ApacheHudi初探(六)(与spark的结合)中，我们没有过多的解释Spark中hudiCompaction的实现，在这里详细说一下注意：在hudi中有同步，异步Compaction
鸿乃江边鸟·2023-08-06 19:22

Hudi Flink SQL源码调试学习（1）

前言本着学习hudi-flink源码的目的，利用之前总结的文章HudiFlinkSQL代码示例及本地调试中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段。
董可伦·2023-07-31 20:21

大数据技术之Hudi

Hudi概述1.1Hudi简介ApacheHudi（HadoopUpsertsDeleteandIncremental）是下一代流数据湖平台。ApacheHudi将核心仓库和数据库功能直接引入数据湖。
null如也·2023-07-30 18:45

Onetable：统一的表格式元数据表示

概括Onehouse客户现在可以将他们的Hudi表查询为ApacheIceberg和/或DeltaLake表，享受从云上查询引擎到顶级开源项目的原生性能优化。
系统免驱动·2023-07-30 03:08

通过源代码修改使 Apache Hudi 支持 Kerberos 访问 Hive 的功能

Hudi0.10.0Kerberos-support适配文档文档说明本文档主要用于阐释如何基于Hudi0.10.0添加支持Kerberos认证权限的功能。
田昕峣 Richard·2023-07-28 19:24

hudi-hive-sync

hudi-hive-syncSyncingtoHive有两种方式:在hudi写时同步使用run_sync_tool.sh脚本进行同步1.代码同步改方法最终会同步元数据，但是会抛出异常valspark=SparkSession.builder
地球人是我哈·2023-07-26 06:31

记录 hudi hive sync 代码端经历

记录hudihivesync代码端经历前言之前写过篇博客hudi-hive-sync，提到了hive同步有两种方式，有兴趣可以去看看。博客内的第一种方法稍微有一点问题。
地球人是我哈·2023-07-26 06:31

Hudi数据湖技术引领大数据新风口(二)编译安装

文章目录第2章编译安装2.1编译环境准备2.2编译Hudi2.2.1上传源码包2.2.2修改pom文件2.2.3修改源码兼容hadoop32.2.4手动安装Kafka依赖第2章编译安装2.1编译环境准备本教程的相关组件版本如下
Maynor996·2023-07-26 05:55

Hudi:数据湖技术引领大数据新风口

文章目录Hudi:数据湖技术引领大数据新风口1.1Hudi简介1.2发展历史1.3Hudi特性1.4使用场景下一章编译安装后记Hudi:数据湖技术引领大数据新风口1.1Hudi简介ApacheHudi（
Maynor996·2023-07-25 23:05

Hudi集成Flink

安装Maven1）上传apache-maven-3.6.3-bin.tar.gz到/opt/software目录，并解压更名tar-zxvfapache-maven-3.6.3-bin.tar.gz-C/opt/module/mvapache-maven-3.6.3maven2）添加环境变量到/etc/profile中sudovim/etc/profile#MAVEN_HOMEexportMAVE
任错错·2023-07-25 17:06

Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突

文章目录解决spark模块依赖冲突2.2.6执行编译命令2.2.7编译成功下一章核心概念后记解决spark模块依赖冲突修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4
Maynor996·2023-07-25 14:59

【Hudi】数据湖（一）：数据湖概念

数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待更新的数
九层之台起于累土·2023-07-21 17:21

Hudi-数据湖

数据湖数据仓库数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（DecisionSupport）。数据仓库的特点是本身不生产数据，也不最终消费数据。每个企业根据自己的业务需求可以分成不同的层次。但是最基础的分层思想，理论上分为三个层：操作型数据层（ODS）、数据仓库层(DW)
迷雾总会解·2023-07-21 17:21

hudi系列-timeline service

TimelineService（时间线服务）是hudi的一个组件，用于暴露文件系统视图接口给客户端，是一个基于Javalin+Jetty实现的web服务。
矛始·2023-07-21 00:40

hudi系列-KeyGenerator & 分区提取器

recordkey与hoodiekeyhudi支持数据更新，在upsert语义下，需要用记录级别的主键来表示每行数据的唯一性。主键是由recordkey和分区路径共同构成的recordkey：记录键，分区下唯一，当为非分区表时等同于主键，虽然在源码中声明了arecordKeythatactsasprimarykeyforarecordhoodiekey：由recordkey+分区路径组成，所以它是
矛始·2023-07-21 00:10

Apache Hudi的编译及安装

简介产品架构ApacheHudi的架构图产品特点Upserts,Deleteswithfast,pluggableindexing.Incrementalqueries,RecordlevelchangestreamsTransactions,Rollbacks,ConcurrencyControl.SQLRead/WritesfromSpark,Presto,Trino,Hive&moreAut
贾斯汀玛尔斯·2023-07-19 13:06

Apache Hudi源码编译

文章目录1.安装Maven2.下载源码包1.安装Maven在Linux版本64位操作上下载和安装Maven，直接将Maven软件包解压，然后配置系统环境变量即可。Maven版本为：3.9.3从maven官网下载maven安装包,然后执行解压即可tar-zxvfapache-maven-3.9.3-bin.tar.gzmvapache-maven-3.9.3-binmaven在maven解压后的目录
编程小子来了·2023-07-17 05:12

编译hudi操作记录

目录修改组件版本修改源码兼容hadoop3手动安装kafka依赖解决spark模块依赖冲突1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:
LCriska·2023-07-16 14:04

Hudi基础知识讲解

Hudi概述Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。
Hello.Reader·2023-07-16 10:42

Hudi的OverwriteNonDefaultsWithLatestAvroPayload效果测试

Payload为OverwriteNonDefaultsWithLatestAvroPayload：set`hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.OverwriteNonDefaultsWithLatestAvroPayload
一见·2023-07-15 16:14

Hudi表类型和查询类型

官方参考Table&QueryTypes查询类型快照查询（SnapshotQueries）查询最新的数据。增量查询（IncrementalQueries）查询指定时间范围内新增或修改的数据。读优化查询（ReadOptimizedQueries）仅查询Parquet格式的基础文件中的数据，为MOR表特有。表类型支持的查询类型COW快照查询、增量查询MOR快照查询、增量查询、读优化查询快照查询和读优化
一见·2023-07-15 16:14

基于Apache Hudi 的CDC数据入湖「内附干货PPT下载渠道」

一、CDC背景介绍首先我们介绍什么是CDC？CDC的全称是ChangedataCapture，即变更数据捕获，它是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。它的应用比较广，可以做一些数据同步、数据分发和数据采集，还可以做ETL，今天主要分享的也是把DB数据通过CDC的方式ETL到数据湖。对于CDC，业界主要有两种类型：一是基于查询的，客户端会通过SQL方
阿里云技术·2023-07-15 01:47

Apache Hudi 0.9.0版本重磅发布！更强大的流式数据湖平台

1.重点特性1.1SparkSQL支持0.9.0添加了对使用SparkSQL的DDL/DML的支持，朝着使所有角色（非工程师、分析师等）更容易访问和操作Hudi迈出了一大步。
xleesf·2023-07-15 01:17

使用 Apache Hudi、Kafka、Hive 和 Debezium 构建开放数据湖

总览在接下来的文章中，我们将学习如何使用开源软件(OSS)在AWS上构建数据湖，包括RedHat的Debezium、ApacheKafka、KafkaConnect、ApacheHive、ApacheSpark、ApacheHudi和HudiDeltaStreamer。我们将使用完全托管的AWS服务来托管数据源、数据湖和开源工具。这些服务包括AmazonRDS、MKS、EKS、EMR和S3。工作流
BigDataToAI·2023-07-15 01:16

基于Apache Hudi 的CDC数据入湖

点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜CDC背景介绍首先我们介绍什么是CDC？CDC的全称是ChangedataCapture，即变更数据捕获，它是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。它的应用比较广，可以做一些数据同步、数据分发和数据采集，还可以做ETL，今天主要分享的也是把DB数据通过CDC的方式ETL到数据湖。对于CDC，业
王知无(import_bigdata)·2023-07-15 01:46

使用Flink MySQL cdc分别sink到ES、Kafka、Hudi

环境说明[flink-1.13.1-bin-scala_2.11.tgz](https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz)[hadoop-2.7.3.tar.gz](https://archive.apache.org/dist/hadoop/common/hadoop-2.7.
白杨Shayne·2023-07-15 01:44

FlinkCDC-Hudi:Mysql数据实时入湖全攻略四：两种FlinkSql kafka connector的特征与应用

前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案
大数据点灯人·2023-07-15 01:12

基于Apache Hudi构建智能湖仓实践（附亚马逊工程师代码）

数据仓库的数据体系严格、治理容易，业务规模越大，ROI越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI越低，但胜在灵活。现在，鱼和熊掌我都想要，应该怎么办？湖仓一体架构就在这种情况下，快速在产业内普及。要构建湖仓一体架构并不容易，需要解决非常多的数据问题。比如，计算层、存储层、异构集群层都要打通，对元数据要进行统一的管理和治理。对于很多业内技术团队而言，已经是个比较大的挑战。可即便如此，
小晨说数据·2023-07-15 01:10

百信银行基于 Apache Hudi 实时数据湖演进方案

简介：本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在Hudi上的方案和实践方法，以及实时计算平台集成Hudi和使用Hudi的方式。
阿里开发者·2023-07-15 01:39

Apache Hudi DeltaStreamer 接入CDC数据时如何完成 Kafka 的身份认证？

题目有些拗口，简短截说，我们对于ApacheHudiDeltaStreamer在接入CDC数据时，对于其如何通过Kafka的身份认证，做了一系列测试和研究，有如下明确结论：. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
　Laurence·2023-07-15 01:06

数据湖之Hudi源码编译

二、下载源码包到Apache软件归档目录下载Hudi0.8源码包:http://archive.apache.org/dist/hudi/0.9.0/wgethttps://archive.apache.org
不知名的。。。·2023-07-14 10:01

hudi0.13.0编译

Hudi0.13编译-知乎(zhihu.com)HudiHivesync使用-简书(jianshu.com)[SUPPORT]CompileErrorofhudi-0.13.0"org.apache.hadoop.hive.common.typecannotbeconvertedtojava.sql.Date
州周·2023-07-14 10:31

【Hudi数据湖-1-Hudi编译】

Hudi数据湖-1-Hudi编译ApacheHudi（HadoopUpsertsDeleteandIncremental）1.Hudi是什么2.Hudi架构图3.Hudi特性4.Hudi使用场景5.编译安装
Apache Minor Trend·2023-07-14 10:28

Hudi编译

编译hudi首先安装maven，修改仓库为aliyun，准备进行maven编译。
寒 暄·2023-07-14 10:54

Hudi学习5：Hudi的helloworld-编译源码

hudi是使用java代码编写的部署hudi1.下载源码Download|ApacheHudihttps://dlcdn.apache.org/hudi/0.13.1/hudi-0.13.1.src.tgz2
hzp666·2023-07-14 10:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他