---Hudi

Apache Hudi在医疗大数据中的应用

本篇文章主要介绍ApacheHudi在医疗大数据中的应用，主要分为５个部分进行介绍：1.建设背景，2.为什么选择Hudi，3.Hudi数据同步，4.存储类型选择及查询优化，5.未来发展与思考。
大数据技术架构·2020-09-17 05:38

Hudi原理 | Apache Hudi 典型应用场景介绍

对于RDBMS摄取，Hudi通过Upserts提供了更快的负载，而非昂贵且低效的批量负载。例如你可以读取MySQLbinlog日志或Sqoop增量导入，并将它们应用在DFS上的Hudi表，这比批量合并
大数据技术架构·2020-09-17 05:38

4、Apache Hudi：Spark读取Binlog并写入

1、数据准备使用canal将mysqlbinlog的数据发送到kafka中2、程序编写1、消费kafka中的binlog数据valkafkaParams=Map[String,String]("bootstrap.servers"->"xxx.xxx.xxx.xxx:9092","auto.offset.reset"->"latest","key.deserializer"->"org.apach
星星木有夜·2020-09-17 05:08

1、Apache Hudi简介

1、Hudi简介Hudi是HadoopUpdatesandIncrementals的缩写，用于管理HDFS上的大型分析数据集存储，主要目的是高效的减少入库延时。
星星木有夜·2020-09-17 05:38

Apache Hudi在医疗大数据的应用

ApacheHudi在医疗大数据的应用本篇文章主要介绍hudi在医疗大数据中的应用，主要分为５个部分进行介绍：建设背景，为什么选择hudi,hudi的数据同步，存储类型选择及查询优化，未来发展与思考。
别过来胖到我了·2020-09-17 04:49

Apache Hudi 介绍与应用

ApacheHudiApacheHudi在基于HDFS/S3数据存储之上，提供了两种流原语：插入更新增量拉取一般来说，我们会将大量数据存储到HDFS/S3，新数据增量写入，而旧数据鲜有改动，特别是在经过数据清洗，放入数据仓库的场景。而且在数据仓库如hive中，对于update的支持非常有限，计算昂贵。另一方面，若是有仅对某段时间内新增数据进行分析的场景，则hive、presto、hbase等也未提
ZackFairT·2020-09-17 04:28

Apache Hudi社区新晋多位Committer

1.介绍经过ApacheHudi项目委员会讨论及投票，向UditMehrotra、GaryLi、RaymondXu、PratyakshSharma4人发出Committer邀请，4人均已接受邀请并顺利成为Committer，也使得ApacheHudiCommitter成员在不断发展壮大。UditMehrotra是来自AWSEMR团队的一员，在去年9/10月份开始参与ApacheHudi社区，帮助A
leesf·2020-09-14 18:00

Apache Hudi 架构设计和基本概念

ApacheHudi是一个DataLakes的开源方案，Hudi是HadoopUpdatesandIncrementals的简写，它是由Uber开发并开源的DataLakes解决方案。
大数据技术与架构·2020-09-10 18:26

Apache Hudi 0.6.0版本重磅发布

1.下载信息源码：ApacheHudi0.6.0SourceRelease(asc,sha512)二进制Jar包：nexus2.迁移指南如果您从0.5.3以前的版本迁移至0.6.0，请仔细核对每个版本的迁移指南；0.6.0版本从基于list的rollback策略变更为了基于marker文件的rollback策略，为进行平稳迁移，会在hoodie.properties文件中配置一个新属性hoodie
leesf·2020-08-26 09:00

Apache Hudi：说出来你可能不信，你的ETL任务慢如狗

1.简介ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
王知无-大数据技术与架构·2020-08-23 10:03

大数据与云计算技术周报（第152期)

本期会给大家奉献上精彩的：TensorFlow、Flink、Binlog、MVP、spark、知识图谱、数仓、Hudi。全是干货，希望大家喜欢！！！
大数据和云计算技术·2020-08-22 20:42

详解Apache Hudi如何配置各种类型分区

1.引入ApacheHudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。
leesf·2020-08-18 09:00

使用Amazon EMR和Apache Hudi在S3上插入，更新，删除数据

将数据存储在AmazonS3中可带来很多好处，包括规模、可靠性、成本效率等方面。最重要的是，你可以利用AmazonEMR中的ApacheSpark，Hive和Presto之类的开源工具来处理和分析数据。尽管这些工具功能强大，但是在处理需要进行增量数据处理以及记录级别插入，更新和删除场景时，仍然非常具有挑战。与客户交谈时，我们发现有些场景需要处理对单条记录的增量更新，例如：遵守数据隐私法规，在该法规
xleesf·2020-08-14 21:35

Apache Hudi表自动同步至阿里云数据湖分析DLA

1.引入Hudi0.6.0版本之前只支持将Hudi表同步到Hive或者兼容Hive的MetaStore中，对于云上其他使用与Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块
leesf·2020-08-10 19:00

Apache Hudi 设计与架构最强解读

1.简介ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
吃鱼的羊·2020-08-05 21:45

Apache Hudi + AWS S3 + Athena实战

，Uber内使用，并且由AmazonAWSEMR和Google云平台支持，最近AmazonAthena支持了在AmazonS3上查询ApacheHudi数据集的能力，本博客将测试Athena查询S3上Hudi
leesf·2020-08-03 19:00

AWS Athena正式可查询Apache Hudi数据集

Hudi处理数据插入和更新，不会创建太多的小文件(小文件会导致查询端性能降低)，ApacheHudi自动管理及合并小文件，让其保持指定大小，这避免了自建解决方案来监控和重写小文件为大文件。
程序员麦冬·2020-08-03 01:34

Hudi: Uber Engineering的Apache Hadoop增量处理框架

为了解决这个问题，优步开发了Hudi项目，这是一个增量处理框架，高效和低延迟地为所有业务关键数据链路提供有力支持。事实上，Uber已经将
玉羽凌风·2020-07-29 03:48

使用Apache Spark和Apache Hudi构建分析数据湖

欢迎关注微信公众号：ApacheHudi1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所
xleesf·2020-07-28 23:25

Amazon EMR正式支持Apache Hudi

通过高效管理AmazonS3中数据的布局方式，Hudi允许近乎实时地提取和更新数据。Hudi维护在数据集上所执行的操作的元数据，以确保这些操作的
xleesf·2020-07-28 23:25

Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

作者：辛庸，阿里巴巴计算平台事业部EMR技术专家。ApacheHadoop，ApacheSparkcontributor。对Hadoop、Spark、Hive、Druid等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。本文来自ApacheSpark技术交流社区。共同点定性上讲，三者均为DataLake的数据存储中间层，其数据管理的功能均是基于一系列的
大数据技术架构·2020-07-28 13:16

Hudi剖析|Apache Hudi Rollback实现分析

1.介绍在发现有些commit出错时，可使用Hudi提供的rollback回滚至指定的commit，这样可防止出现错误的结果，并且当一次commit失败时，也会进行rollback操作，保证一次commit
大数据技术之路---花火·2020-07-28 07:53

Apache+Hudi入门指南（含代码示例）

1.什么是ApacheHudi一个spark库大数据更新解决方案，大数据中没有传统意义的更新，只有append和重写(Hudi就是采用重写方式)使用Hudi的优点使用Bloomfilter机制+二次查找
别过来胖到我了·2020-07-27 22:56

Uber基于Apache Hudi构建PB级数据湖实践

文|hudi来源|ApacheHudi1.引言从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。
LinkTime_Cloud·2020-07-27 16:32

Delta Lake、Iceberg 和 Hudi 三大开源数据湖不知道如何选？那是因为你没看这篇文章...

目前市面上流行的三大开源数据湖方案分别为：delta、ApacheIceberg和ApacheHudi。其中，由于ApacheSpark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。ApacheHudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fastupsert/delete以及compaction等功能可以说是精
过往记忆·2020-07-27 13:55

AWS Athena正式可查询Apache Hudi数据集

Hudi处理数据插入和更新，不会创建太多的小文件(小文件会导致查询端性能降低)，ApacheHudi自动管理及合并小文件，让其保持指定大小，这避免了自建解决方案来监控和重写小文件为大文件。
leesf·2020-07-27 11:00

AWS Athena正式可查询Apache Hudi数据集

Hudi处理数据插入和更新，不会创建太多的小文件(小文件会导致查询端性能降低)，ApacheHudi自动管理及合并小文件，让其保持指定大小，这避免了自建解决方案来监控和重写小文件为大文件。
leesf·2020-07-27 11:00

生态 | Apache Hudi集成Alluxio实践

原文链接：https://mp.weixin.qq.com/s/sT2-KK23tvPY2oziEH11Kw1.什么是AlluxioAlluxio为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。这还使得应用程序能够通过一个公共接口连接到许多存储系统。Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。对于用户应用
leesf·2020-07-20 20:00

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装注意1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi
赵延东的一亩三分地·2020-07-14 17:54

Apache Hudi重磅特性解读之存量表高效迁移机制

为利用Hudi的upsert和增量拉取能力，用户需要重写整个数据集让其成为Hudi表。此RFC提供一个无需重写整张表的高效迁移机制。
leesf·2020-07-13 09:00

Apache Hudi重磅特性解读之存量表高效迁移机制

为利用Hudi的upsert和增量拉取能力，用户需要重写整个数据集让其成为Hudi表。此RFC提供一个无需重写整张表的高效迁移机制。
leesf·2020-07-13 09:00

Uber 如何使用 Apache Hudi 支撑 PB 级数据湖

一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了ApacheSoftwareFoun
过往记忆·2020-07-10 05:34

Delta Lake 和 Apache Hudi 两种数据湖产品全方面对比

DeltaLake是数砖公司在2017年10月推出来的一个项目，并于2019年4月24日在美国旧金山召开的Spark+AISummit2019会上开源的一个存储层。它是DatabricksRuntime重要组成部分。为ApacheSpark和大数据workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间
过往记忆·2020-07-08 12:27

Apache Hudi 详解

1.什么是Hudi？ApacheHudi代表HadoopUpsertsanDIncrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。
大数据技术之路---花火·2020-07-07 23:52

大数据实用组件Hudi--实现管理大型分析数据集在HDFS上的存储

问题导读1.什么是Hudi？2.Hudi对HDFS可以实现哪些操作？3.Hudi与其它组件对比有哪些特点？前两天我们About云群大佬公司想了解Hudi，并上线使用。
about云·2020-07-07 04:38

Apache Hudi architecture and implementation research

Thereare2partsofthearticle，asfollows:1.Hudiscenarioandconcepts2.Performancebottlenecks1.HudiscenarioandconceptsThereisalotofconcepts,someissimilarasHBase.Someisnewconcepts.ButWhatistherelationshipwith
gloria_y·2020-07-06 22:17

大数据之Hudi + Kylin的准实时数仓实现

4、Hudi新一代数据湖项目有什么优势？
贝拉美·2020-07-06 20:11

Apache Hudi重磅特性解读之全局索引

1.摘要Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。当前，Hudi支持分区和非分区的数据集。
leesf·2020-07-06 18:00

Apache Hudi重磅特性解读之全局索引

1.摘要Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。当前，Hudi支持分区和非分区的数据集。
leesf·2020-07-06 18:00

使用Apache Hudi构建大规模、事务性数据湖

一个近期由HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等。什么是数据湖？数据湖是一个集中式的存储，允许以任意规模存储结构化和非结构化数据。你可以存储原始数据，而不需要先转化为结构化的数据，基于数据湖之上可以运行多种类型的分析，如das
大数据技术架构·2020-07-05 16:41

实战|使用Spark结构化流写入Hudi

https://zhuanlan.zhihu.com/p/133316667欢迎关注微信公众号：ApacheHudi1.项目背景传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制
吃鱼的羊·2020-07-02 02:46

Kudu、Hudi和Delta Lake的比较

https://www.cnblogs.com/kehanc/p/12153409.html目录Kudu、Hudi和DeltaLake的比较存储机制读数据更新数据其他如何选择合适的存储方案Kudu、Hudi
吃鱼的羊·2020-07-02 02:13

Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

作者：辛庸，阿里巴巴计算平台事业部EMR技术专家。ApacheHadoop，ApacheSparkcontributor。对Hadoop、Spark、Hive、Druid等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。共同点定性上讲，三者均为DataLake的数据存储中间层，其数据管理的功能均是基于一系列的meta文件。meta文件的角色类似于数据库
weixin_45906054·2020-06-29 16:38

基于 Hudi 和 Kylin 构建准实时高性能数据仓库

在近期的ApacheKylin×ApacheHudiMeetup直播上，ApacheKylinPMCChair史少锋和Kyligence解决方案工程师刘永恒就Hudi+Kylin的准实时数仓实现进行了介绍与演示
Kyligence·2020-06-28 21:42

直播 | Apache Kylin × Apache Hudi Meetup

ApacheKylin与ApacheHudi社区联合举办，将于3月14日晚进行直播，邀请到来自丁香园、腾讯、柯林布瑞以及Kyligence等公司的技术专家，为大家呈现Kylin与「由Uber开源的数据湖项目」Hudi
Kyligence·2020-06-28 21:42

使用Apache Hudi构建大规模、事务性数据湖

一个近期由HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等。什么是数据湖？数据湖是一个集中式的存储，允许以任意规模存储结构化和非结构化数据。你可以存储原始数据，而不需要先转化为结构化的数据，基于数据湖之上可以运行多种类型的分析，如das
leesf·2020-06-27 21:00

使用Apache Hudi构建大规模、事务性数据湖

一个近期由HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等。什么是数据湖？数据湖是一个集中式的存储，允许以任意规模存储结构化和非结构化数据。你可以存储原始数据，而不需要先转化为结构化的数据，基于数据湖之上可以运行多种类型的分析，如das
leesf·2020-06-27 21:00

恭喜，Apache Hudi 即将成为顶级项目！

美国当地时间2020年05月11日，ApacheHudi项目的共同创始人、PMCVinothChandar给社区发了一封标题为[DISCUSS]GraduateApacheHudi(Incubating)asaTLP[1]的邮件，来投票讨论ApacheHudi毕业成为ApacheTLP项目。2020年05月19日共40人投票赞成[2]，不久社区给Apache董事会申请成为TLP，今天（2020年0
过往记忆·2020-06-27 12:56

Apache Hudi：统一批和近实时分析的存储和服务

分为产生背景、动机、设计、使用案例、demo几个模块讲解。Uber的行程在2018年已经达到700个城市，70个国家，200w+司机的规模。而数据在Uber中可分为摄取和查询，而摄取包括从kafka、hdfs上消费数据；查询则包括使用sparknotebook的数据科学家，使用Hive/Presto进行adhoc查询和dashboard展示，使用Spark/Hive构建数据管道或ETL任务等。引入
过往记忆·2020-06-27 12:56

使用Apache Spark和Apache Hudi构建分析数据湖

1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所有更新的历史视图甚至仅是最新增量视图上运
大数据技术架构·2020-06-27 01:45
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他