HUDI

FlinkCDC+Hudi+Hive大数据实时入湖基础实战

目录前言：新架构与湖仓一体一、版本说明二、编译打包hudi0.10.0版本1.使用git克隆github上最新的master2.编译打包三、创建flink工程1.pom文件主要内容2.checkpoint3
阿飞不会飞丶·2022-07-29 10:03

Flink CDC 系列（10）—— MySQL 数据入湖 Hudi

FlinkCDC系列文章：《FlinkCDC系列（1）——什么是FlinkCDC》《FlinkCDC系列（2）——FlinkCDC源码编译》《FlinkCDC系列（3）——FlinkCDCMySQLConnector与FlinkSQL的结合使用案例Demo》《FlinkCDC系列（4）——FlinkCDCMySQLConnector常用参数表》《FlinkCDC系列（5）——FlinkCDCMyS
白月蓝山·2022-07-29 10:33

Flink+Hudi 构架湖仓一体化解决方案

▼关注「Flink中文社区」，获取更多技术干货▼摘要：本文详细介绍了Flink+Hudi湖仓一体化方案的原型构建。
Apache Flink·2022-07-29 10:32

FLINK集成HUDI实战

1.说明1.环境依赖flink版本：flink-1.13.0flink-cdc版本：2.1.0hudi版本：2.11-0.10.0hive版本：3.1.02.使用过程中FLINK中的包3.过程记录注意1
嘎子吱吱吱吱·2022-07-29 10:02

基于Apache Hudi + Flink的亿级数据入湖实践

36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/35475本次分享分为5个部分介绍ApacheHudi的应用与实践实时数据落地需求演进基于Spark+Hudi
虚幻私塾·2022-07-29 10:00

30分钟掌握沧湖一体化：flink+hudi

Hudi解决了以下限制HDFS的可伸缩性限制需要在Hadoop中更快地呈现数据没有直接支持对现有数据的更新和删除快速的ETL和建模要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新
前端罗欢·2022-07-29 10:57

flink实战--flinkSQL数据写入hudi

关注微信公众号【BigData512】,了解更多大数据技术，还有免费资料等你哦简介ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics集成了Hudi服务高效的数据MERGE
阿华田512·2022-07-29 10:25

Flink SQL Hudi 实战

1、概述官网：https://hudi.apache.orggitee：https://gitee.com/apache/Hudi1.1架构1.2特点Upserts,Deleteswithfast,pluggableindexing.Incrementalqueries
hyunbar·2022-07-29 10:24

详解 Apache Hudi Schema Evolution(模式演进)

SchemaEvolution（模式演进）允许用户轻松更改Hudi表的当前模式，以适应随时间变化的数据。
leesf·2022-07-24 16:00

Apache Hudi数据跳过技术加速查询高达50倍

介绍在Hudi0.10中，我们引入了对高级数据布局优化技术的支持，例如Z-order和希尔伯特空间填充曲线（作为新的聚类算法），即使在经常使用过滤器查询大表的复杂场景中，也可以在多个列而非单个列上进行数据跳过
leesf·2022-07-18 22:00

Flink CDC + Hudi 海量数据入湖在顺丰的实践

主要内容包括：顺丰数据集成背景FlinkCDC实践问题与优化未来规划一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物业系统、以及很多中转场、汽车或飞机上的很多传感器，都会产生大量数据。如果需要对这些数据进行数据分析，那么数据集成是其中很重要的一步。顺丰的数据集成经历了几年的发展，主要分
米朵儿技术屋·2022-07-15 19:30

【2】数据湖架构中 Iceberg 的核心特性

在业界的数据湖方案中有Hudi、Iceberg和Delta三个关键组件可供选择。一、Iceberg是什么？
TRX1024·2022-07-13 08:57

数据湖Apache Hudi、Iceberg、Delta环境搭建

1.引入作为依赖Spark的三个数据湖开源框架Delta，Hudi和Iceberg，本篇文章为这三个框架准备环境，并从ApacheSpark、Hive和Presto的查询角度进行比较。
小胖纸liuhui·2022-07-13 08:26

Flink On Hudi整个系列中可能遇到的问题

1、ERRORorg.apache.hudi.sink.compact.CompactFunction[]-Executorexecutesaction[Executecompactionforinstant20220331114224581fromtask0
一个数据小开发·2022-07-13 08:35

Flink CDC模式写入Hudi

为什么是Hudi_一个数据小开发的博客-CSDN博客从0到1搭建数据湖Hudi环境_一个数据小开发的博客-CSDN博客接下来，就是FlinkonHudi的实战了，这一篇带来的CDC模式的入湖。
一个数据小开发·2022-07-13 08:35

Flink SQL Kafka写入Hudi详解

1、背景前面Hudi的专栏已经详细讲解过本地如何构建这套Hudi的运行环境，在此就不在重复了，如果感兴趣想了解的可以去学习下，从0到1搭建数据湖Hudi环境_一个数据小开发的博客-CSDN博客本次重点是为了能够很好的理解
一个数据小开发·2022-07-13 08:34

从0到1搭建数据湖Hudi环境

一、目标前面一篇博文中已经详细讲解过数据湖Hudi相关的一些基本概念，想学习下的，可以去看下。数据湖基本概念--什么是数据湖，数据湖又能干什么？
一个数据小开发·2022-07-13 08:34

为什么是Hudi

一、什么是数据湖对于经常跟数据打交道的同学，初步听到数据湖这个概念的时候，肯定有点懵，但是相信大家对于数据仓库这个概念并不陌生。到了20世纪80年代以后，基于关系型数据库的事务处理成为了企业IT应用的主流。在这个阶段，企业的IT应用主要还是着重于业务职能的自动化及信息的存储、汇总、统计、查询等方面，而分析能力是比较薄弱的，因此这样的信息处理模式称之为事务处理。进而，在网络应用和实时交互处理功能日益
一个数据小开发·2022-07-13 08:01

[Delta][SQL] Delta开源付费功能，最全分析ZOrder的源码实现流程

不管是Hudi、Iceberg还是Delta都实现了基于min-max索引的Data-skiping技术。
Tim在路上·2022-07-09 19:23

hudi中zorder采样分区流程分析——《DEEPNOVA开发者社区》

作者：吴文池背景hudi在数据聚集方面，支持使用zorder对数据进行重排。做zorder排序主要流程分为三步：-对于用户指定的每个zorder字段，生成对应的z值。
·2022-07-08 16:35

深入理解Apache Hudi异步索引机制

在我们之前的文章中，我们讨论了多模式索引的设计，这是一种用于Lakehouse架构的无服务器和高性能索引子系统，以提高查询和写入性能。在这篇博客中，我们讨论了构建如此强大的索引所需的机制，异步索引机制的设计，类似于PostgreSQL和MySQL等流行的数据库系统，它支持索引构建而不会阻塞写
leesf·2022-07-07 06:00

阿里云云原生一体化数仓 — 分析服务一体化新能力解读

简介：本文主要介绍如何通过Hologres在分析和服务场景下的新功能，包括资源隔离，数据湖（Delta、Hudi）的支持、JSON优化支持等。
·2022-07-05 18:43

Flink CDC + Hudi 海量数据入湖在顺丰的实践

简介：覃立辉在5.21FlinkCDCMeetup的分享。本文整理自顺丰大数据研发工程师覃立辉在5月21日FlinkCDCMeetup的演讲。主要内容包括：顺丰数据集成背景FlinkCDC实践问题与优化未来规划点击查看直播回放&演讲PDF一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物
阿里云开发者·2022-06-17 22:45

IDEA 中使用 Hudi的示例代码

目录环境准备核心代码测试参考资料环境准备创建Maven项目创建服务器远程连接Tools------Delployment-----BrowseRemoteHost设置如下内容：在这里输入服务器的账号和密码点击TestConnection，提示Successfully的话，就说明配置成功。复制Hadoop的core-site.xml、hdfs-site.xml以及log4j.properties三个
·2022-06-17 17:34

Apache Hudi多模索引对查询优化高达30倍

与许多其他事务数据系统一样，索引一直是ApacheHudi不可或缺的一部分，并且与普通表格式抽象不同。在这篇博客中，我们讨论了我们如何重新构想索引并在ApacheHudi0.11.0版本中构建新的多模式索引，这是用于Lakehouse架构的首创高性能索引子系统，以优化查询和写入事
leesf·2022-06-12 17:00

Halodoc使用 Apache Hudi 构建 Lakehouse的关键经验

Halodoc数据工程已经从传统的数据平台1.0发展到使用LakeHouse架构的现代数据平台2.0的改造。在我们之前的博客中，我们提到了我们如何在Halodoc实施Lakehouse架构来服务于大规模的分析工作负载。我们提到了平台2.0构建过程中的设计注意事项、最佳实践
leesf·2022-06-09 14:00

Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文作者罗龙文，分享了如何通过FlinkCDC、Hudi、Hive、Presto等构建数据湖。
Apache Flink·2022-05-31 07:45

数据湖技术Hudi0.10master测试流程

Hudi0.10master测试流程Hudi粗糙介绍hudi同步hive底层大概是什么原理，都是指向同一份存储没有拷贝数据吗，hive是怎么实现update、delete逻辑。
我去探险了·2022-05-31 07:45

Flink写数据到 hudi中,hive读取

#%20%E3%80%8AHive%20On%20Hudi%E3%80%8B在/data/app/hive/auxlib目录放入hudijar–>hudi-hadoop-mr-bundle-0.10.0
xiaolin_xinji·2022-05-31 07:14

「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成

一、各种整合hive集成hudi方法：将hudijar复制到hivelib下cp .
王知无(import_bigdata)·2022-05-31 07:14

数据湖：Hudi构建中台

Hudi和DaltaLake对spark强绑定，建议使用Saprk。
榛西·2022-05-31 07:13

hudi同步到hive的数据问题

使用：/opt1/app/history-data/action-history-bnode1:9092-sd2021-01-02-ed2021-01-06-tnews203造数时，如果第一次造数的量时1000条，那么同步到hive表也是1000条，最大值就是1000条。如果第二次造数小于最大值，数据就添加不进去，所以还是1000条，如果第三次造数是1500条，你就会在hive中看到有数据增加了，
当贝壳离开了海�·2022-05-31 07:43

Hudi 集成 Hive

环境:hudi0.10.1spark2.4.5hive2.3.7hadoop2.7.5将编译好的hudijar,copy到hivelib目录下:cp/Users/xxx/cloudera/lib/hudi
雾岛与鲸·2022-05-31 07:42

Apache+Hudi入门指南: Spark+Hudi+Hive+Presto

一、整合hive集成hudi方法：将hudijar复制到hivelib下cp.
四月天03·2022-05-31 07:41

Flink1.12.2集成hudi0.9.0+同步hive实践

flink-sql客户端2.2创建表2.3插入数据2.4根据主键更新数据三、stream模式实现步骤：3.1创建表3.2从批模式写入一条数据3.3隔几秒后在流模式可以读取到一条新增的数据四.Hive同步4.1hudi
嘉言懿行-嘟嘟·2022-05-31 07:11

FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案

一、背景根据Hudi官方文档，Hudi与Spark整合时只要在以下命令中选择相应的版本，执行命令即可。spark内置的ivy依赖管理工具会自动下载对应的jar包(需要在外网环境下)。
大数据点灯人·2022-05-31 07:11

第3节 hudi hive 数据同步，实现湖仓一体 cdh6.3.2存在版本兼容问题，spark可以查询HoodieParquetRealtimeInputFormat格式表，hive查询报错

对接hive（1）将Hudi目录编译好的hudi-hadoop-mr-bundle-0.9.0.jar，复制到hive的lib下让hive支持hudi,需要重启hiveserver2服务,或者不加入也可
第一次看海·2022-05-31 07:11

Hudi数据湖简介

今天跟大家分享的大数据产品叫ApacheHudi，Hudi是HadoopUpdatesandIncrementals的简写，它是由Uber开发并开源的DataLakes解决方案。
阿福Chris·2022-05-31 07:40

数据湖架构开发-Hudi入门教程

为了让大家更好学习使用Hudi，基于0.9.0版本，推出本套课程，从数据湖概念，到集成S
是一只萨摩耶·2022-05-31 07:10

数据湖（五）：Hudi与Hive集成

大数据联盟地址：https://bbs.csdn.net/forums/lanson文章目录Hudi与Hive集成一、配置HiveServer21、在Hive服务端配置hive-site.xml2、在每台
Lansonli·2022-05-31 07:39

大数据MapReduce是什么

云原生数据湖MRS（MapReduceService）为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBas
·2022-05-27 11:26

Flink CDC 将MySQL的数据写入Hudi实践

FlinkCDC+Hudi实践一、依赖关系1、Maven依赖2、SQL客户端JAR二、设置MySQL服务器1、创建MySQL用户：2、向用户授予所需的权限：3、最终确定用户的权限：三、注意1、MySQLCDC
嘉言懿行-嘟嘟·2022-05-17 10:37

KLOOK客路旅行基于Apache Hudi的数据湖实践

1.业务背景介绍客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当地交通与美食预订服务。覆盖全球100个国家及地区，支持12种语言和41种货币的支付系统,与超过10000家商户合作伙伴紧密合作，为全球旅行者提供10万多种旅行体验预订服务。
leesf·2022-05-12 23:00

大数据MapReduce服务

云原生数据湖MRS（MapReduceService）为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBas
·2022-05-05 15:01

Hudi-湖仓一体

目录Hudi安装Hudi-Spark操作Spark-Shell启动设置表名插入数据查询数据修改数据增量查询时间点查询删除数据覆盖数据Hudi-Flink操作安装Flink插入数据修改数据Hudi安装maven
笑一笑0628·2022-04-27 07:08

Hudi起源分析——DEEPNOVA开发者社区

1、概述Hudi（HadoopUpdateDeleteIncremental）官方介绍是为数据湖之上提供事务支持、行级别更新/删除（RowLevelUpdate/deletes）和变更流（ChangeStream
·2022-04-25 17:07

使用Apache Hudi 加速传统的批处理模式的方法

目录1.现状说明1.1数据湖摄取和计算过程-处理更新1.2当前批处理过程中的挑战2.Hudi数据湖—查询模式2.1面向分析师的表/OLAP（按created_date分区）2.2面向ETL（按更新日期分区
·2022-04-24 11:58

Apache Hudi 如何加速传统的批处理模式？

1.现状说明1.1数据湖摄取和计算过程-处理更新在我们的用例中1-10%是对历史记录的更新。当记录更新时，我们需要从之前的updated_date分区中删除之前的条目，并将条目添加到最新的分区中，在没有删除和更新功能的情况下，我们必须重新读取整个历史表分区→去重数据→用新的
leesf·2022-04-23 06:00

基于 Apache Hudi 构建增量和无限回放事件流的 OLAP 平台

1.摘要在本博客中，我们将讨论在构建流数据平台时如何利用Hudi的两个最令人难以置信的能力。
leesf·2022-04-11 17:00

基于Apache Hudi在Google云构建数据湖平台的思路详解

自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分析，并且产生的数据量非常巨大！有效地存储数PB数据并拥有必要的工具来查询它以便使用它至关重要，只有这
·2022-04-07 12:27
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他