---Hudi

【Hudi数据湖应用】Flink作业同名类强转异常ClassCastException修复

一、异常描述近日升级到hudi0.11后，在flink应用中遭遇了一个神级异常：java.lang.ClassCastException:org.apache.hudi.common.fs.HoodieWrapperFileSystemcannotbecasttoorg.apache.hudi.common.fs.HoodieWrapperFileSystem
大数据点灯人·2023-09-10 13:10

数据湖_Hudi概述

转载自：数据湖-hudi概述_懒猫gg的博客-CSDN博客前言数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。
高达一号·2023-09-06 16:21

Hudi 源码之Bucket Index

背景对于Upsert操作，Hudi需要定位到数据所在的FileGroup。当FileGroup很多的时候，定位FileGroup的过程会成为性能瓶颈。
AlienPaul·2023-09-05 09:14

Amazon EMR Hudi 性能调优——Clustering

随着数据体量的日益增长，人们对Hudi的查询性能也提出更多要求，除了Parquet存储格式本来的性能优势之外，还希望Hudi能够提供更多的性能优化的技术途径，尤其当对Hudi表进行高并发的写入，产生了大量的小文件之后
·2023-09-02 23:52

Hudi 核心原理

基本概念TimelineTimeline可以理解为Hudi表的一个时间线，记录了Hudi表在不同时刻的信息和行为，这个Timeline由TimelineServer来管理，通常存在于Hdfs、RDBMS
隔壁寝室老吴·2023-09-01 17:20

基于数据湖的多流拼接方案-HUDI实操篇

（三）测试结果三、后序一、前情提要基于数据湖对两条实时流进行拼接（如前端埋点+服务端埋点、日志流+订单流等）；基础概念见前一篇文章：基于数据湖的多流拼接方案-HUDI概念篇_Leonardo_KY的博客
Leonardo_KY·2023-09-01 10:42

Apache Hudi初探(五)(与spark的结合)

背景目前hudi的与spark的集合还是基于sparkdatasourceV1来的，这一点可以查看hudi的source实现就可以知道:classDefaultSourceextendsRelationProviderwithSchemaRelationProviderwithCreatableRelationProviderwithDataSourceRegisterwithStreamSink
鸿乃江边鸟·2023-09-01 09:34

Apache Hudi初探(三)(与flink的结合)--flink写hudi的操作(真正的写数据)

背景在之前的文章中ApacheHudi初探(二)(与flink的结合)–flink写hudi的操作(JobManager端的提交操作)有说到写hudi数据会涉及到写hudi真实数据以及写hudi元数据,
鸿乃江边鸟·2023-09-01 09:32

CDL基础原理

CDL目前支持的数据源有MySQL、PostgreSQL、Oracle、Hudi、Kafka、ThirdParty-Kafka，目标端
Hello.Reader·2023-08-31 03:16

数据湖的选型(delta iceberg hudi)以及比对

数据湖的选型此文章只是作为文稿记录，且截止到2022年11月份Hudi（0.12.0）支持spark3.3.x3.1.x是HadoopUpsertsDeletesandIncrementals的简写Hudi
鸿乃江边鸟·2023-08-30 03:17

Hudi 快速体验使用（含操作详细步骤及截图）

文章目录Hudi快速体验使用启动spark-shell添加jar包模拟产生Trip乘车数据插入数据利用sqarkSQL查询参考资料：Hudi快速体验使用本示例要完成下面的流程：需要提前安装好hadoop
半岛铁子_·2023-08-28 19:09

基于数据湖的多流拼接方案-HUDI概念篇

目录一、为什么需要HUDI？1.传统技术选型存在哪些问题？2.Hudi有什么优点？基于HudiPayload机制的多流拼接方案：二、HUDI的应用场景1.什么场景适合使用hudi？
Leonardo_KY·2023-08-28 19:36

StreamingWarehouse的一些思考和未来趋势

以Hudi、Iceberg、Paimon这几个框架为例，它们支持高效的数据流/批读写、数据回溯以及数据更新。
王知无(import_bigdata)·2023-08-25 23:11

基于 Ubuntu 玩转 Hudi Docker Demo （3）—— Spark写入和查询

HudiDockerDemo（2）——测试数据写入Kafka》《基于Ubuntu玩转HudiDockerDemo（3）——Spark写入和查询》《基于Ubuntu玩转HudiDockerDemo（4）——Hive查询Hudi
修破立生·2023-08-24 21:40

Apache Hudi初探(二)(与flink的结合)--flink写hudi的操作(JobManager端的提交操作)

背景在ApacheHudi初探(一)(与flink的结合)中，我们提到了Pipelines.hoodieStreamWrite写hudi文件,这个操作真正写hudi是在Pipelines.hoodieStreamWrite
鸿乃江边鸟·2023-08-22 08:08

记录几个Hudi Flink使用问题及解决方法

前言如题，记录几个HudiFlink使用问题，学习和使用HudiFlink有一段时间，虽然目前用的还不够深入，但是目前也遇到了几个问题，现在将遇到的这几个问题以及解决方式记录一下版本Flink1.15.4Hudi0.13.0
董可伦·2023-08-22 05:45

Apache Doris 2.0.0 特性分析

doris可以查询外部表，包括：Hive、Iceberg、Hudi、Elasticsearch、JDBC、Paimon早期版本中，FE通过BE节点查询外部表，并且在BE节点内执行join、sort、agg
howard_shooter·2023-08-18 12:15

Apache Hudi内核之文件标记机制深入解析

1.摘要Hudi支持在写入时自动清理未成功提交的数据。ApacheHudi在写入时引入标记机制来有效跟踪写入存储的数据文件。
xleesf·2023-08-16 04:17

Apache Hudi数据湖的Marker机制

目录1.目的2.Marker文件名称结构3.DirectWriteMarkers4.TimelineServerMarkers5.Marker配置参数1.目的一个write开始时，会先创建一个marker，等write完成时，会删除marker。如果marker未删除，表示write失败，会留下部分脏数据文件。标记的作用如下：marker用于清除脏数据文件marker用于数据rollback2.M
Bulut0907·2023-08-16 04:17

详解Apache Hudi如何配置各种类型分区

1.引入ApacheHudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。
xleesf·2023-08-16 04:47

Apache Hudi的流批一体架构实践某宝

一、前言当前公司的大数据实时链路如下图，数据源是MySQL数据库，然后通过BinlogQuery的方式消费或者直接客户端采集到Kafka，最终通过基于Spark/Flink实现的批流一体计算引擎处理，最后输出到下游对应的存储。二、模型特征架构的演进2.1第一代架构广告业务发展初期，为了提升策略迭代效率，整理出一套通用的特征生产框架，该框架由三部分组成：特征统计、特征推送和特征获取模型训练。如下图所
写轮眼之大数据·2023-08-16 04:46

Apache Hudi表自动同步至阿里云数据湖分析DLA

1.引入Hudi0.6.0版本之前只支持将Hudi表同步到Hive或者兼容Hive的MetaStore中，对于云上其他使用与Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块
xleesf·2023-08-16 04:46

Apache Hudi使用简介

ApacheHudi使用简介文章目录ApacheHudi使用简介数据实时处理和实时的数据业务场景和技术选型使用AapcheHudi整体思路Hudi表数据结构数据文件.hoodie文件Hudi记录IdCOW
西北偏北up·2023-08-16 04:16

Hudi关键术语及其概述

概览ApacheHudi基于hadoop兼容存储提供如下流原型更新/删除记录修改流关键概念Timeline（时间轴）在其核心，Hudi维护了在不同时刻对表执行的所有操作的时间轴，这有助于提供表的瞬时视图
BigDataToAI·2023-08-16 04:16

Hudi 文件布局(File Layouts)

1.1BaseFile1.2BaseFile1.3FileSlice1.4FileGroup2.FileLayouts写过程2.1COW表2.2MOR表HudiFileLayouts1核心概念FileLayouts（文件布局）是指Hudi
老鼠扛刀满街找猫@·2023-08-16 04:45

java读取hudi parquet文件

java读取hudiparquet文件hudi版本说明：0.10.1importorg.apache.avro.Schema;importorg.apache.parquet.avro.AvroParquetReader
老鼠扛刀满街找猫@·2023-08-16 04:15

数据湖之Hudi基础：入门介绍和编译部署

主要记录下Hudi的概述和打包编译等内容，方便参考文章目录简介官网发展历史Hudi特性使用场景安装部署编译环境准备编译hudi1.源码包上传到服务器2.修改pom文件3.修改源码兼容hadoop34.手动安装
小明同学YYDS·2023-08-16 04:44

【Hudi数据湖应用】Hudi-Spark-Bundle NoSuchMethodError(SessionHandler.setHttpOnly)异常修复

最近尝试在sparksql上对hudi表进行insert数据，会报java.lang.NoSuchMethodError:org.apache.hudi.org.apache.jetty.server.session.SessionHandler.setHttpOnly
大数据点灯人·2023-08-16 04:44

Apache Hudi Timeline Server介绍

文章目录ApacheHudiTimelineServer介绍1.概述2提供的服务3.结论ApacheHudiTimelineServer介绍1.概述Hudi有一个中央时间线服务器，在驱动程序节点中运行并作为
老鼠扛刀满街找猫@·2023-08-16 04:12

Amazon EMR Hudi 性能调优——Clustering

随着数据体量的日益增长，人们对Hudi的查询性能也提出更多要求，除了Parquet存储格式本来的性能优势之外，还希望Hudi能够提供更多的性能优化的技术途径，尤其当对Hudi表进行高并发的写入，产生了大量的小文件之后
亚马逊云开发者·2023-08-15 03:58

07_Hudi案例实战、Flink CDC 实时数据采集、Presto、FineBI 报表可视化等

7.第七章Hudi案例实战7.1案例架构7.2业务数据7.2.1客户信息表7.2.2客户意向表7.2.3客户线索表7.2.4线索申诉表7.2.5客户访问咨询记录表7.3FlinkCDC实时数据采集7.3.1
涂作权的博客·2023-08-14 16:59

06_Hudi案例实战

本文来自"黑马程序员"hudi课程6.第六章Hudi案例实战6.1案例架构6.2业务数据6.2.1消息数据格式6.2.2数据生成6.3七陌数据采集6.3.1ApacheFlume是什么6.3.2ApacheFlume
涂作权的博客·2023-08-13 15:53

05_Hudi 集成 Flink、Streaming query、Flink SQL Writer、Flink SQL集成Kafka、Flink SQL写入Hudi、消费Kafka数据等

本文来自"黑马程序员"hudi课程5.第五章Hudi集成Flink5.1安装Flink1.125.2快速入门5.2.1集成Flink概述5.2.2环境准备5.2.3创建表5.2.4插入数据5.2.5查询数据
涂作权的博客·2023-08-13 10:03

基于 StarRocks 进行湖仓融合的四种范式

数据湖的基本定义及价值（1）什么是数据湖数据湖的概念和技术实现在不同的行业也有着较大的区别：云厂商：基于对象存储，以S3、OSS、COS等构建数据底座，进行统⼀存储；互联网公司：以数据湖三剑客为主，Iceberg、Hudi
高校俱乐部·2023-08-13 03:31

Hudi系列13:Hudi集成Hive

文章目录一.Hudi集成Hive概述二.Hudi集成Hive步骤2.1拷贝jar包2.1.1拷贝编译好的hudi的jar包2.1.2拷贝Hivejar包到Flinklib目录2.1.3Flink以及FlinkSQL
只是甲·2023-08-13 02:51

数据湖技术之Hudi 集成 Spark

数据湖技术之Hudi集成Spark数据湖框架Hudi，从诞生之初支持Spark进行操作，后期支持Flink，接下来先看看与Spark整合使用，并且在0.9.0版本中，提供SparkSQL支持，编写DDL
潘小磊·2023-08-13 02:51

SparkSQL操作Hudi指南

文章目录一、SparkSQL连接Hudi1.1Hive配置1.2SparkSQL连接Hudi二、创建表2.1常规的建表2.2CTAS三、插入数据四、查询数据五、更新数据5.1普通5.2MergeInto
王知无(import_bigdata)·2023-08-13 02:21

Hudi 集成 Spark 数据分析示例（含代码流程与测试结果）

文章目录数据集数据处理目标整体项目结构数据ETL与保存代码编写测试结果指标查询分析代码编写测试结果集成Hive查询创建Hive连接使用hql进行查询参考资料数据集数据为2017年5月1日-10月31日（半年）海口市每天的订单数据，包含订单的起终点经纬度以及订单类型、出行品类、乘车人数的订单属性数据。百度网盘连接：链接：https://pan.baidu.com/s/1e1hhf0Aag1ukWiR
半岛铁子_·2023-08-13 02:20

Hudi（六）集成Hive

Hudi源表对应一份HDFS数据，通过Spark，Flink组件或者HudiCLI，可以将Hudi表的数据映射为Hive外部表，基于该外部表，Hive可以方便的进行实时视图，读优化视图以及增量视图的查询
Yuan_CSDF·2023-08-13 02:20

CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark

《大数据平台架构与原型实现：数据中台建设实战》一书由博主历时三年精心创作，现已通过知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。ApacheHudi的DeltaStreamer是一种以近实时方式摄取数据并写入
　Laurence·2023-08-12 11:46

04_Hudi 集成 Spark、保存数据至Hudi、集成Hive查询、MergeInto 语句

本文来自"黑马程序员"hudi课程4.第四章Hudi集成Spark4.1环境准备4.1.1安装MySQL5.7.314.1.2安装Hive2.14.1.3安装Zookeeper3.4.64.1.4安装Kafka2.4.14.2
涂作权的博客·2023-08-12 00:17

02_快速体验 Hudi、编译 Hudi、安装HDFS、安装Spark 3.x、模拟数据、插入数据、查询数据、.hoodie文件、数据文件、Hudi 数据存储概述、Metadata 元数据等

本文来自"黑马程序员"hudi课程2.第二章快速体验Hudi2.1编译Hudi2.1.1第一步、Maven安装2.1.2第二步、下载源码包2.1.3第三步、添加Maven镜像2.1.4第四步、执行编译命令
涂作权的博客·2023-08-11 23:46

01_Hudi 框架概述、数据湖Data Lake、什么是数据湖、数据湖框架、背景概述、Hudi 介绍、Hudi 发展及特性等

本文来自"黑马程序员"hudi课程1.第一章Hudi框架概述1.1数据湖DataLake1.1.1仓库和湖泊1.1.2什么是数据湖1.1.3数据湖的优点1.1.4DataLakevsDatawarehouse1.1.5
涂作权的博客·2023-08-11 23:45

03_Hudi 核心概念、时间轴Timeline、文件管理、索引Index、存储类型、计算模型、批式模型Batch、流式模型Stream、增量模型Incremental、查询类型、数据写操作流程等

本文来自"黑马程序员"hudi课程3.第三章Hudi核心概念3.1基本概念3.1.1时间轴Timeline3.1.2文件管理3.1.3索引Index3.2存储类型3.2.1计算模型3.2.1.1批式模型
涂作权的博客·2023-08-11 23:15

Dinky实践系列之FlinkCDC整库实时入仓入湖

内容包括：前言环境要求源库准备整库同步参数介绍整库入湖Hudi整库入仓StarRocks整库入库MySQL整库同步Kafka整库入库PostgreSQL整库入仓ClickHouse总结一、前言Dinky
jason275·2023-08-10 18:15

开源经验分享 | 如何从一名小白成为Apache Hudi Contributor

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun前言参与ApacheHudi开源有一年多的时间了，马上1024了，虽然距离成为ApacheHudiCommiter还有很遥远的距离，但还是想跟大家分享一下自己的开源经验，讲一下自己如何从开源小白成为ApacheHudiContrib
董可伦·2023-08-10 18:01

将图片存入数据湖Hudi

以下是一个简单的示例代码，展示了如何使用Java和Hudi将图片的路径存储到Hudi表中：importorg.apache.hud
贾斯汀玛尔斯·2023-08-09 20:45

数据湖真的能取代数据仓库吗？【SNP SAP数据转型 】

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、DeltaLake。
snpgroupcn·2023-08-08 14:49

使用 docker-compose 搭建 Doris 和 Hudi 测试环境

docker-compose.ymlversion:"3.3"services:namenode:image:registry.cn-hangzhou.aliyuncs.com/jensenchen/hudi-hadoop
一只努力的微服务·2023-08-06 20:15

Apache Hudi初探(十一)(与spark的结合)--hudi的markers机制

背景在之前的文章中hudi的Compaction操作中，completeTableService中其实会有deleteMarker的操作，那为什么会有这个操作呢？
鸿乃江边鸟·2023-08-06 19:22
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他