hudi

快手流批一体数据湖构建实践

主要内容包括以下四大部分：1.数据湖架构2.基于Hudi构建快手数据湖3.快手的实践案例4.快手的发展规划01数据湖架构：从离线数仓到湖仓一体的转变数据建设的核心目标一般为：①标准统一；②可共享；③简单易用
Openlab.cosmoplat·2023-06-13 17:56

hudi系列-append写过程

cow+insert一直是append模式，mor+insert在0.13.1后也统一走append写流程(HUDI-6045)在0.13.1之前，mor+insert存在着写parquet和写log两种情况
矛始·2023-06-13 12:44

终于定了，小海豚再度牵手数据湖三剑客之一 Apache Hudi社区！

王昱翔，活动组织者社区Contributor读完需要10分钟随着大数据技术的快速发展，数据调度、数据湖的构建和数据存储变得越来越重要。数据处理的复杂性、分布式环境下的数据调度问题、PB级别数据入湖的实践、记录级索引的应用等，都已经成为了大数据工程师面临的关键问题。在大数据的海洋中，如何寻找到最有效的调度工具，最实用的数据入湖实践，最深入的记录级索引应用呢？为了帮助大数据工程师们寻找到最适合自己的解
DolphinScheduler社区·2023-06-13 10:44

k8s hudi表快速测试指南

ubuntu安装nfs服务sudoapt-getinstallnfs-kernel-serversudovim/etc/exports/data1/nfs/rootfs*(rw,sync,no_root_squash,no_subtree_check)解析：/data1/nfs/rootfs——NFS服务器端的目录，用于与nfs客户端共享*——允许所有的网段访问，也可以使用具体的IPrw——挂接此
BigDataToAI·2023-06-13 01:40

Apache Hudi 0.12.2发布

长期支持版本我们的目标是维护0.12更长时间，并通过最新的0.12.x版本提供稳定版本供用户迁移。此版本(0.12.2)是最新的0.12版本。迁移指南此版本(0.12.2)没有引入任何新的表版本，因此如果您使用的是0.12.0，则无需迁移。如果从旧版本迁移，请查看之前发行说明中的迁移指南，特别是0.6.0,0.9.0,0.10.0,0.11.0,and0.12.0.中的升级说明。bug修复0.12
BigDataToAI·2023-06-13 01:40

ByteLake：字节跳动基于Apache Hudi的实时数据湖平台

本篇内容包含四个部分，首先介绍一下Hudi，其次介绍字节的实时数据湖平台ByteLake的应用场景；然后针对应用场景，字节做的优化和新特性；最后介绍未来规划。
大数据技术架构·2023-06-10 21:20

【Hudi】数据湖

1.数据湖是什么？数据湖：定义、特点和应用数据湖系统以原始格式存储数据，可以存储结构化（表格或图形）、半结构化（CSV、JSON、日志）、非结构化（电子邮件、文档）和二进制数据（音频、照片等）。数据湖与其他数据系统主要区别如下：易用，数据湖可以存储不同来源、不同类型的数据，方便进一步分析和重新安置组织和结构化，数据是以原始格式进行实时收集和存储实惠，能为任何规模的数据提供划算的价格适用于任何时间框
Learn Forever·2023-06-10 21:50

Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践

原文：FlinkCDC+Hudi+Hive+Presto构建实时数据湖最佳实践摘要：本文作者罗龙文，分享了如何通过FlinkCDC、Hudi、Hive、Presto等构建数据湖。
javastart·2023-06-09 07:08

基于数据湖的流批一体：flink1.15.3与Hudi0.12.1集成，并配置基于CDH6.3.2的hive catalog

前言：为实现基于数据湖的流批一体，采用业内主流技术栈hudi、flink、CDH（hive、spark）。
吴培洪·2023-06-09 02:49

Hudi编译安装

文章目录编译环境准备编译Hudi上传源码包修改pom文件修改源码兼容hadoop3手动安装Kafka依赖解决spark模块依赖冲突执行编译命令编译成功编译环境准备Hadoop3.1.3Hive3.1.2Flink1.13.6
Alienware^·2023-06-09 02:48

Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2

Hudi搭建https://blog.csdn.net/weixin_46389691/article/details/128276527环境准备一、安装Maven1.解压2.配置环境变量3.修改Maven
hzp666·2023-06-09 02:46

IDEA 中使用 Hudi

环境准备创建Maven项目创建服务器远程连接Tools------Delployment-----BrowseRemoteHost设置如下内容：在这里输入服务器的账号和密码点击TestConnection，提示Successfully的话，就说明配置成功。复制Hadoop的core-site.xml、hdfs-site.xml以及log4j.properties三个文件复制到resources文件
半岛铁子_·2023-06-09 02:16

数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查

二、数据湖hudi快速上手2.1编译hudi源码Hadoop3.1.3Hive3.1.2Flink1.13.6，scala-2.12Spark3.2.2，scala-2.122.1.1环境准备[root
undo_try·2023-06-09 02:15

数据湖与数据仓库区别

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、DeltaLake。
000X000·2023-06-08 22:49

Hudi表创建时HDFS上的变化

SparkSQL建Hudi表语句：CREATETABLEt71(dsBIGINT,utSTRING,pkBIGINT,f0BIGINT,f1BIGINT,f2BIGINT,f3BIGINT,f4BIGINT
一见·2023-06-07 18:56

Apache Hudi初探(八)(与spark的结合)--非bulk_insert模式

背景之前讨论的都是’hoodie.datasource.write.operation’:'bulk_insert’的前提下，在这种模式下，是没有json文件的已形成如下的文件：/dt=1/.hoodie_partition_metadata/dt=1/2ffe3579-6ddb-4c5f-bf03-5c1b5dfce0a0-0_0-41263-0_20230528233336713.parque
鸿乃江边鸟·2023-06-07 17:38

Hudi 源码之数据写入逻辑

背景本篇以Flink操作Hudi表为例，分析COW表和MOR表的upsert以及insert操作详细的执行流程。
AlienPaul·2023-06-01 10:22

Spark : 多线程提交优化多Job任务

介绍在日常业务中,spark常见的就是通过路径通配符*,{}等方式一次读取多个文件,一次批处理将这些文件做一个大job写入Hive或者ODPS,笔者最近在用Spark读取Hudi的文件时候发现了一个诡异的文件丢失
dinl_vin·2023-04-21 12:07

hudi系列-增量查询ckp超时

环境hudi0.11.1flink1.14.5MOR表，按天分区，约几百个，每个分区下基本只有一个base文件(最近的分区文件也不多)AlignedCheckpointscheckpointtimeout10
矛始·2023-04-21 04:14

hudi系列-基于cdc应用与优化

1.CDC是个好东西曾经做数据同步受存储引擎和采集工具的限制，经常都是全量定时同步，亦或是以自增ID或时间作为增量的依据进行增量定时同步，无论是哪种，都存在数据延时较大、会重复同步不变的数据、浪费资源等问题。后来刚接触canal时还大感惊奇，基于mysql的binlog可以这么方便实时同步最新数据，然而历史数据的初始化仍然得使用第三方ETL工具来全量同步。直到flinkcdc项目诞生，完全解决了前
矛始·2023-04-21 04:13

hudi系列-数据写入方式及使用场景

hudi支持多种数据写入方式：insert、bulk_insert、upsert、boostrap，我们可以根据数据本身属性(append-only或upsert)来选择insert和upsert方式，
矛始·2023-04-21 04:43

Hudi集成Flink-写入方式

创建测试表1.2.1、创建mysql表1.2.2、将binlog日志写入kafka1、使用mysql-cdc监听binlog2、kafka作为sink表3、写入sink表1.2.3、将kakfa数据写入hudi1
宝哥大数据·2023-04-21 00:31

【IDEA】数据湖 Hudi 0.12.0 基础使用

文章目录创建Maven项目插入数据查询数据更新数据增量查询删除数据前言集群系统：CentOS7.5服务器信息：服务器角色IPhadoop104服务器Master192.168.0.104hadoop105服务器Slave1192.168.0.105hadoop106服务器Slave2192.168.0.106使用的组件版本如下：组件名称版本号JDK1.8Hadoop3.1.3Spark3.1.1H
月亮给我抄代码·2023-04-20 21:58

Flink CDC 在易车的应用实践

本篇内容主要分为四个部分：Flink应用场景DTS平台建设FlinkCDC+Hudi应用实践未来规划点击查看直播回放和演讲PPT一、Flink应用场景Flink在易车有丰富的应用场景，主要包含实时数仓建设和数据集成
·2023-04-19 11:54

Flink CDC 在易车的应用实践

本篇内容主要分为四个部分：Flink应用场景DTS平台建设FlinkCDC+Hudi应用实践未来规划点击查看直播回放和演讲PPT一、Flink应用场景Flink在易车有丰富的应用场景，主要包含实时数仓建设和数据集成
·2023-04-19 11:38

【Hudi】数据湖Hudi核心概念与架构设计总结

Hudi是现在非常热门的数据湖开源方案，非常适合于搭建一个数据湖平台。有些人认为数据湖肯定与大数据技术体系完全不一样，是两个东西，甚至认为他俩没关系。但是，你知道Hudi的全称叫啥么？
菜鸟蜀黍·2023-04-18 10:43

Apache Hudi 是什么？

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据技术体系背景2016年，优步开发了ApacheHudi（一开始叫Hoodie），这是一个增量处理框架，以低延迟和高效率为业务关键数据管道提供动力。一年后，优步选择开源该解决方案，允许其他依赖数据的组织利用其优势，然后在2019年，又进一步推进了这一承诺，
Shockang·2023-04-17 05:43

Flink、Hudi技术选型

FlinkCDC2.2的优势相比Flink1.x，2.x的版本有如下的特点：1)并发读取，全量数据的读取性能可以水平扩展。2)全程无锁，不对线上业务产生锁的风险。3)断点续传，支持全量阶段的Checkpoint。FlinkSQL的优势1）Flink支持流批处理（支持有界数据和无界数据的处理）也就是流批一体。2）支持轻量级快照机制，可以用于容错。3）Flink是有状态的计算，相比storm无状态的计
javaisGod_s·2023-04-15 01:27

MySQL-Flink CDC-Hudi综合案例

）在MySQL中准备数据库、表，表数据（2）在FlinkSQL中创建MySQLoe_course_tpye的映射表mysql_bxg_oe_course_type（源表）（3）在FlinkSQL中创建Hudi
javaisGod_s·2023-04-15 01:27

多库多表场景下使用 Amazon EMR CDC 实时入湖最佳实践

Hudi作为最热的数据湖技术框架之一,用于构建具有增量数据处理管道的流式数据湖。其核心的能力包括对象存储上数据行级别
亚马逊云开发者·2023-04-14 14:27

基于Apache Hudi新一代数据湖实践

根据维基百科对数据湖的定义：数据湖（DataLake）是一个以原始格式存储数据的存储库或系统，它按原样存储数据，无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）和二进制数据（如图形、音频、视频）。在实际的业务应用中，数据湖作为一个集中式存储库，它以更低的存储成本，更方便的方
科杰科技·2023-04-13 16:52

数据湖 | Apache Hudi 设计与架构最强解读

1.简介ApacheHudi(简称：Hudi)允许您在现有的hadoop兼容存储之上存储大量数据，同时提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分
王知无(import_bigdata)·2023-04-12 12:45

[Hudi学习笔记] Hudi 与Kudu、Hive Transactions、Hbase及Stream Processing的比较

Hudi是HadoopUpsertsanDIncrementals的缩写，用于管理HDFS上的大型分析数据集存储。Hudi的主要目的是高效的减少入库延时。Hudi是Uber开发的一个开源项目。
Kent_Yao·2023-04-12 00:36

推荐好文：深度对比 Delta、Iceberg 和 Hudi 三大开源数据湖方案（附最新更新）

这篇文章深度对比了3种开源数据湖技术，对每个技术的优缺点做了详细对比。不过当前2022年初，社区情况有了一些变化，会列在文后。文章地址：https://www.infoq.cn/article/fjebconxd2sz9wloykfo截止到2022年1月5日：社区现状ApacheIcebergStar：2.3K提交数：2184最新提交时间：7小时前ApachehudiStar：2.6K提交数：23
曲奇饼·2023-04-11 09:37

Apache Hudi - 1 - quick-start-guide 快速入门

quick-start-guide前言sparkshell配置启动pyspark的hudi环境报错成功启动带hudi的pysparkIDEA代码方式插入数据（表不存在则新建表，upsert）查询数据（查询当前版本的数据
木鱼Gavin·2023-04-11 07:01

Hudi学习01 -- Hudi简介及编译安装

文章目录Hudi简介Hudi概述Hudi特性Hudi使用场景Hudi编译安装安装Maven编译hudi修改pom文件修改源码兼容hadoop3解决spark模块依赖的问题hudi编译命令Hudi简介Hudi
patrick_wang_bigdata·2023-04-11 07:31

探索Apache Hudi核心概念 (1) - File Layouts

但是，抽象概念与实际运行状况还是有不少差异的，相信很多学习和使用Hudi的开发者都曾尝试过：将文档中的概念和Hudi的实际运行状况结合起来推导每个动作背后的逻辑是什么。这个过程非常有意义，因为
　Laurence·2023-04-11 07:58

探索Apache Hudi核心概念 (2) - File Sizing

在本系列的上一篇文章中，我们通过Notebook探索了COW表和MOR表的文件布局，在数据的持续写入与更新过程中，Hudi严格控制着文件的大小，以确保它们始终处于合理的区间范围内，从而避免大量小文件的出现
　Laurence·2023-04-11 07:27

数据湖之Hudi

一、简介Hudi是Uber公司开源的数据湖架构，它是围绕数据库内核构建的流式数据湖。
Ayanha·2023-04-11 01:38

flink sql -mysql cdc 到hudi表在输出到kafka中

1.版本对应的版本mysqlflinkkafkahudi5.7.20-logfink13.52.0.0.30.102.采用架构flink-hudi-kaka.png3.flinksql的mysqlcdc
wudl·2023-04-06 20:20

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi
阿里云技术·2023-04-06 04:31

Doris (HOLAP)，实时数据仓库的王者。

前文：Uniq模型拳打KUDU、HUDI，Aggregate模型脚踢Kylin、ClickHouse，Duplicate模型跟Hive势不两立。Doris+Flink将会是实时数据仓库的重要基石。
CesarChoy·2023-04-04 06:17

Flink + Iceberg 全场景实时数仓的建设实践

整理｜路培杰（Flink社区志愿者）摘要：ApacheFlink是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以Iceberg、Hudi、Delta为代表的解决方案应运而生
Apache Flink·2023-04-04 03:23

湖仓一体数据平台架构

随着数字化技术的更新迭代，数据库、数据仓库、数据湖等各种概念层出不穷，MPP数据库、Hadoop、对象存储、Hudi等各种数据技术不断涌现，湖仓一体概念逐步被人们所关注，在国际知名机构Gartner发布的
数据文字工作者·2023-04-03 17:18

数据湖——Hudi基本概念

文章目录Hudi特性场景核心概念基本概念时间轴文件布局索引表类型查询类型数据写upsertinsertinsertoverwritekey的生成策略删除策略数据读Hudi传送门特性可插拔索引机制支持快速的
友培·2023-04-03 05:54

hadoop 3.x大数据集群搭建系列7-安装Hudi

Hadoop3.3.2Hive3.1.2Spark3.3.1Flink1.15.2一.下载并解压hudicd/home/softwarewgethttps://mirrors.tuna.tsinghua.edu.cn/apache/hudi
只是甲·2023-04-03 03:55

Hudi 概念和特性

背景本篇为Hudi概念和特性相关介绍。依据于官网和相关博客资料，融入了个人理解。内容可能会有疏漏，欢迎大家指正和补充。
AlienPaul·2023-04-03 00:26

FlinkCDC-Hudi:Mysql数据实时入湖全攻略七：FlinkSQL常用命令

前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案
大数据点灯人·2023-04-02 10:28

Flink SQL Checkpoint 学习总结

验证方式FlinkSQL流式增量读取Hudi表然后sinkMySQL表，任务启动后处于r
董可伦·2023-04-02 10:25

Apache Hudi重磅特性解读之全局索引

1.摘要Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。当前，Hudi支持分区和非分区的数据集。
xleesf·2023-04-02 09:05
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他