Hudi设计与架构

Flink CDC模式写入Hudi

为什么是Hudi_一个数据小开发的博客-CSDN博客从0到1搭建数据湖Hudi环境_一个数据小开发的博客-CSDN博客接下来，就是FlinkonHudi的实战了，这一篇带来的CDC模式的入湖。
一个数据小开发·2022-07-13 08:35

Flink SQL Kafka写入Hudi详解

1、背景前面Hudi的专栏已经详细讲解过本地如何构建这套Hudi的运行环境，在此就不在重复了，如果感兴趣想了解的可以去学习下，从0到1搭建数据湖Hudi环境_一个数据小开发的博客-CSDN博客本次重点是为了能够很好的理解
一个数据小开发·2022-07-13 08:34

从0到1搭建数据湖Hudi环境

一、目标前面一篇博文中已经详细讲解过数据湖Hudi相关的一些基本概念，想学习下的，可以去看下。数据湖基本概念--什么是数据湖，数据湖又能干什么？
一个数据小开发·2022-07-13 08:34

为什么是Hudi

一、什么是数据湖对于经常跟数据打交道的同学，初步听到数据湖这个概念的时候，肯定有点懵，但是相信大家对于数据仓库这个概念并不陌生。到了20世纪80年代以后，基于关系型数据库的事务处理成为了企业IT应用的主流。在这个阶段，企业的IT应用主要还是着重于业务职能的自动化及信息的存储、汇总、统计、查询等方面，而分析能力是比较薄弱的，因此这样的信息处理模式称之为事务处理。进而，在网络应用和实时交互处理功能日益
一个数据小开发·2022-07-13 08:01

[Delta][SQL] Delta开源付费功能，最全分析ZOrder的源码实现流程

不管是Hudi、Iceberg还是Delta都实现了基于min-max索引的Data-skiping技术。
Tim在路上·2022-07-09 19:23

hudi中zorder采样分区流程分析——《DEEPNOVA开发者社区》

作者：吴文池背景hudi在数据聚集方面，支持使用zorder对数据进行重排。做zorder排序主要流程分为三步：-对于用户指定的每个zorder字段，生成对应的z值。
·2022-07-08 16:35

深入理解Apache Hudi异步索引机制

在我们之前的文章中，我们讨论了多模式索引的设计，这是一种用于Lakehouse架构的无服务器和高性能索引子系统，以提高查询和写入性能。在这篇博客中，我们讨论了构建如此强大的索引所需的机制，异步索引机制的设计，类似于PostgreSQL和MySQL等流行的数据库系统，它支持索引构建而不会阻塞写
leesf·2022-07-07 06:00

阿里云云原生一体化数仓 — 分析服务一体化新能力解读

简介：本文主要介绍如何通过Hologres在分析和服务场景下的新功能，包括资源隔离，数据湖（Delta、Hudi）的支持、JSON优化支持等。
·2022-07-05 18:43

系统困境与软件复杂度，为什么我们的系统会如此复杂

作者：聂晓龙（率鸽）读APhilosophyofSoftwareDesign有感，软件设计与架构复杂度，你是战术龙卷风吗？前言有一天，一个医生和一个土木工程师在一起争论“谁是世界上最古老的职业”。
·2022-06-20 05:52

Flink CDC + Hudi 海量数据入湖在顺丰的实践

简介：覃立辉在5.21FlinkCDCMeetup的分享。本文整理自顺丰大数据研发工程师覃立辉在5月21日FlinkCDCMeetup的演讲。主要内容包括：顺丰数据集成背景FlinkCDC实践问题与优化未来规划点击查看直播回放&演讲PDF一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物
阿里云开发者·2022-06-17 22:45

IDEA 中使用 Hudi的示例代码

目录环境准备核心代码测试参考资料环境准备创建Maven项目创建服务器远程连接Tools------Delployment-----BrowseRemoteHost设置如下内容：在这里输入服务器的账号和密码点击TestConnection，提示Successfully的话，就说明配置成功。复制Hadoop的core-site.xml、hdfs-site.xml以及log4j.properties三个
·2022-06-17 17:34

Apache Hudi多模索引对查询优化高达30倍

与许多其他事务数据系统一样，索引一直是ApacheHudi不可或缺的一部分，并且与普通表格式抽象不同。在这篇博客中，我们讨论了我们如何重新构想索引并在ApacheHudi0.11.0版本中构建新的多模式索引，这是用于Lakehouse架构的首创高性能索引子系统，以优化查询和写入事
leesf·2022-06-12 17:00

Halodoc使用 Apache Hudi 构建 Lakehouse的关键经验

Halodoc数据工程已经从传统的数据平台1.0发展到使用LakeHouse架构的现代数据平台2.0的改造。在我们之前的博客中，我们提到了我们如何在Halodoc实施Lakehouse架构来服务于大规模的分析工作负载。我们提到了平台2.0构建过程中的设计注意事项、最佳实践
leesf·2022-06-09 14:00

Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文作者罗龙文，分享了如何通过FlinkCDC、Hudi、Hive、Presto等构建数据湖。
Apache Flink·2022-05-31 07:45

数据湖技术Hudi0.10master测试流程

Hudi0.10master测试流程Hudi粗糙介绍hudi同步hive底层大概是什么原理，都是指向同一份存储没有拷贝数据吗，hive是怎么实现update、delete逻辑。
我去探险了·2022-05-31 07:45

Flink写数据到 hudi中,hive读取

#%20%E3%80%8AHive%20On%20Hudi%E3%80%8B在/data/app/hive/auxlib目录放入hudijar–>hudi-hadoop-mr-bundle-0.10.0
xiaolin_xinji·2022-05-31 07:14

「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成

一、各种整合hive集成hudi方法：将hudijar复制到hivelib下cp .
王知无(import_bigdata)·2022-05-31 07:14

数据湖：Hudi构建中台

Hudi和DaltaLake对spark强绑定，建议使用Saprk。
榛西·2022-05-31 07:13

hudi同步到hive的数据问题

使用：/opt1/app/history-data/action-history-bnode1:9092-sd2021-01-02-ed2021-01-06-tnews203造数时，如果第一次造数的量时1000条，那么同步到hive表也是1000条，最大值就是1000条。如果第二次造数小于最大值，数据就添加不进去，所以还是1000条，如果第三次造数是1500条，你就会在hive中看到有数据增加了，
当贝壳离开了海�·2022-05-31 07:43

Hudi 集成 Hive

环境:hudi0.10.1spark2.4.5hive2.3.7hadoop2.7.5将编译好的hudijar,copy到hivelib目录下:cp/Users/xxx/cloudera/lib/hudi
雾岛与鲸·2022-05-31 07:42

Apache+Hudi入门指南: Spark+Hudi+Hive+Presto

一、整合hive集成hudi方法：将hudijar复制到hivelib下cp.
四月天03·2022-05-31 07:41

Flink1.12.2集成hudi0.9.0+同步hive实践

flink-sql客户端2.2创建表2.3插入数据2.4根据主键更新数据三、stream模式实现步骤：3.1创建表3.2从批模式写入一条数据3.3隔几秒后在流模式可以读取到一条新增的数据四.Hive同步4.1hudi
嘉言懿行-嘟嘟·2022-05-31 07:11

FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案

一、背景根据Hudi官方文档，Hudi与Spark整合时只要在以下命令中选择相应的版本，执行命令即可。spark内置的ivy依赖管理工具会自动下载对应的jar包(需要在外网环境下)。
大数据点灯人·2022-05-31 07:11

第3节 hudi hive 数据同步，实现湖仓一体 cdh6.3.2存在版本兼容问题，spark可以查询HoodieParquetRealtimeInputFormat格式表，hive查询报错

对接hive（1）将Hudi目录编译好的hudi-hadoop-mr-bundle-0.9.0.jar，复制到hive的lib下让hive支持hudi,需要重启hiveserver2服务,或者不加入也可
第一次看海·2022-05-31 07:11

Hudi数据湖简介

今天跟大家分享的大数据产品叫ApacheHudi，Hudi是HadoopUpdatesandIncrementals的简写，它是由Uber开发并开源的DataLakes解决方案。
阿福Chris·2022-05-31 07:40

数据湖架构开发-Hudi入门教程

为了让大家更好学习使用Hudi，基于0.9.0版本，推出本套课程，从数据湖概念，到集成S
是一只萨摩耶·2022-05-31 07:10

数据湖（五）：Hudi与Hive集成

大数据联盟地址：https://bbs.csdn.net/forums/lanson文章目录Hudi与Hive集成一、配置HiveServer21、在Hive服务端配置hive-site.xml2、在每台
Lansonli·2022-05-31 07:39

大数据MapReduce是什么

云原生数据湖MRS（MapReduceService）为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBas
·2022-05-27 11:26

Flink CDC 将MySQL的数据写入Hudi实践

FlinkCDC+Hudi实践一、依赖关系1、Maven依赖2、SQL客户端JAR二、设置MySQL服务器1、创建MySQL用户：2、向用户授予所需的权限：3、最终确定用户的权限：三、注意1、MySQLCDC
嘉言懿行-嘟嘟·2022-05-17 10:37

KLOOK客路旅行基于Apache Hudi的数据湖实践

1.业务背景介绍客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当地交通与美食预订服务。覆盖全球100个国家及地区，支持12种语言和41种货币的支付系统,与超过10000家商户合作伙伴紧密合作，为全球旅行者提供10万多种旅行体验预订服务。
leesf·2022-05-12 23:00

大数据MapReduce服务

云原生数据湖MRS（MapReduceService）为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBas
·2022-05-05 15:01

Hudi-湖仓一体

目录Hudi安装Hudi-Spark操作Spark-Shell启动设置表名插入数据查询数据修改数据增量查询时间点查询删除数据覆盖数据Hudi-Flink操作安装Flink插入数据修改数据Hudi安装maven
笑一笑0628·2022-04-27 07:08

Hudi起源分析——DEEPNOVA开发者社区

1、概述Hudi（HadoopUpdateDeleteIncremental）官方介绍是为数据湖之上提供事务支持、行级别更新/删除（RowLevelUpdate/deletes）和变更流（ChangeStream
·2022-04-25 17:07

使用Apache Hudi 加速传统的批处理模式的方法

目录1.现状说明1.1数据湖摄取和计算过程-处理更新1.2当前批处理过程中的挑战2.Hudi数据湖—查询模式2.1面向分析师的表/OLAP（按created_date分区）2.2面向ETL（按更新日期分区
·2022-04-24 11:58

Apache Hudi 如何加速传统的批处理模式？

1.现状说明1.1数据湖摄取和计算过程-处理更新在我们的用例中1-10%是对历史记录的更新。当记录更新时，我们需要从之前的updated_date分区中删除之前的条目，并将条目添加到最新的分区中，在没有删除和更新功能的情况下，我们必须重新读取整个历史表分区→去重数据→用新的
leesf·2022-04-23 06:00

基于 Apache Hudi 构建增量和无限回放事件流的 OLAP 平台

1.摘要在本博客中，我们将讨论在构建流数据平台时如何利用Hudi的两个最令人难以置信的能力。
leesf·2022-04-11 17:00

基于Apache Hudi在Google云构建数据湖平台的思路详解

自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分析，并且产生的数据量非常巨大！有效地存储数PB数据并拥有必要的工具来查询它以便使用它至关重要，只有这
·2022-04-07 12:27

Apache Hudi - 初步了解

背景Hudi是Uber主导开发的开源数据湖框架。所以大部分的出发点都来源于Uber自身场景，比如司机数据和乘客数据通过订单Id来做Join等。在Hudi过去的使用场景里，和大
万州客·2022-04-07 09:41

基于Apache Hudi在Google云构建数据湖平台

自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分
leesf·2022-04-07 08:00

基于Apache Hudi和Debezium构建CDC入湖管道

从Hudiv0.10.0开始，我们很高兴地宣布推出适用于Deltastreamer的Debezium源，它提供从Postgres和MySQL数据库到数据湖的变更捕获数据(CDC)的摄取。有关详细信息请参阅原始RFC1.背景当想要对来自事务数据库（如Postgres或MySQL）的数据执行分析时，通常需要通过称为更改数据捕获CDC的过程将此数据引入数据仓库或数据湖等OLAP系统。Debezium是一
leesf·2022-04-05 20:00

Robinhood基于Apache Hudi的下一代数据湖实践

摘要Robinhood的使命是使所有人的金融民主化。Robinhood内部不同级别的持续数据分析和数据驱动决策是实现这一使命的基础。我们有各种数据源——OLTP数据库、事件流和各种第3方数据源。需要快速、可靠、安全和以隐私为中心的数据湖摄取服务来支持各种报告、关键业务管道和仪表板。不仅在数据存储规模和查询方面，也在我们在数据湖支持的用例方面，我们从最初的数据湖版本[1]都取得了很大的进展。在这篇博
·2022-04-02 11:03

Robinhood基于Apache Hudi的下一代数据湖实践

1.摘要Robinhood的使命是使所有人的金融民主化。Robinhood内部不同级别的持续数据分析和数据驱动决策是实现这一使命的基础。我们有各种数据源——OLTP数据库、事件流和各种第3方数据源。需要快速、可靠、安全和以隐私为中心的数据湖摄取服务来支持各种报告、关键业务管道和仪表板。不仅在数据存储规模和查询方面，也在我们在数据湖支持的用例方面，我们从最初的数据湖版本都取得了很大的进展。在这篇博客
leesf·2022-03-31 15:00

Apache Hudi集成Spark SQL操作hide表

目录1.摘要2.环境准备2.1启动spark-sql2.2设置并发度3.CreateTable4.InsertInto4.1Insert4.2Select5.Update5.1Update5.2Select6.Delete6.1Delete6.2Select7.MergeInto7.1MergeIntoInsert7.2Select7.4MergeIntoUpdate7.5Select7.6Mer
·2022-03-31 12:06

Apache Pulsar结合Hudi构建Lakehouse方案分析

目录1.动机2.分析3.当前方案4.新的Lakehouse存储方案4.1新的存储布局4.2支持高效Upserts4.3将Hudi表当做PulsarTopic4.4可扩展的元数据管理5.引用1.动机Lakehouse
·2022-03-31 10:55

Apache Hudi的多版本清理服务彻底讲解

目录1.回收空间以控制存储成本2.问题描述3.深入了解Hudi清理服务4.清理服务5.例子6.配置7.运行命令8.未来计划ApacheHudi提供了MVCC并发模型，保证写入端和读取端之间快照级别隔离。
·2022-03-30 22:42

深入解析Apache Hudi内核文件标记机制

目录1.摘要2.为何引入Markers机制3.现有的直接标记机制及其局限性4.基于时间线服务器的标记机制提高写入性能5.标记相关的写入选项6.性能7.总结1.摘要Hudi支持在写入时自动清理未成功提交的数据
·2022-03-30 22:11

Z-Order加速Hudi大规模数据集方案分析

目录1.背景2.Z-Order介绍3.具体实现3.1z-value的生成和排序3.1.1基于映射策略的z值生成方法3.1.2基于RangeBounds的z-value生成策略3.2与Hudi结合3.2.1
·2022-03-30 22:41

Apache Hudi数据布局黑科技降低一半查询时间

目录1.背景2.Clustering架构2.1调度Clustering2.2运行Clustering2.3Clustering配置3.表查询性能3.1进行Clustering之前3.2进行Clustering之后4.总结1.背景ApacheHudi将流处理带到大数据，相比传统批处理效率高一个数量级，提供了更新鲜的数据。在数据湖/仓库中，需要在摄取速度和查询性能之间进行权衡，数据摄取通常更喜欢小文件
·2022-03-30 20:07

Apache Hudi基于华米科技应用湖仓一体化改造

目录1.应用背景及痛点介绍2.技术方案选型3.问题与解决方案3.1.增量数据字段对齐问题3.2全球存储兼容性问题3.3云主机时区统一问题3.4升级新版本问题3.5多分区Upsert性能问题3.6数据特性适应问题4.上线收益4.1成本方面4.2效率方面4.3稳定性层面4.4查询性能层面5.总结与展望1.应用背景及痛点介绍华米科技是一家基于云的健康服务提供商，拥有全球领先的智能可穿戴技术。在华米科技，
·2022-03-30 20:06

Apache Hudi异步Clustering部署操作的掌握

目录1.摘要2.介绍3.Clustering策略3.1计划策略3.2执行策略3.3更新策略4.异步Clustering4.1HoodieClusteringJob4.2HoodieDeltaStreamer4.3SparkStructuredStreaming5.总结和未来工作1.摘要在之前的一篇博客中，我们介绍了Clustering(聚簇)的表服务来重新组织数据来提供更好的查询性能，而不用降低摄
·2022-03-30 20:35
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他