Hudi

Apache Hudi + AWS S3 + Athena实战

，Uber内使用，并且由AmazonAWSEMR和Google云平台支持，最近AmazonAthena支持了在AmazonS3上查询ApacheHudi数据集的能力，本博客将测试Athena查询S3上Hudi
leesf·2020-08-03 19:00

AWS Athena正式可查询Apache Hudi数据集

Hudi处理数据插入和更新，不会创建太多的小文件(小文件会导致查询端性能降低)，ApacheHudi自动管理及合并小文件，让其保持指定大小，这避免了自建解决方案来监控和重写小文件为大文件。
程序员麦冬·2020-08-03 01:34

Hudi: Uber Engineering的Apache Hadoop增量处理框架

为了解决这个问题，优步开发了Hudi项目，这是一个增量处理框架，高效和低延迟地为所有业务关键数据链路提供有力支持。事实上，Uber已经将
玉羽凌风·2020-07-29 03:48

使用Apache Spark和Apache Hudi构建分析数据湖

欢迎关注微信公众号：ApacheHudi1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所
xleesf·2020-07-28 23:25

Amazon EMR正式支持Apache Hudi

通过高效管理AmazonS3中数据的布局方式，Hudi允许近乎实时地提取和更新数据。Hudi维护在数据集上所执行的操作的元数据，以确保这些操作的
xleesf·2020-07-28 23:25

Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

作者：辛庸，阿里巴巴计算平台事业部EMR技术专家。ApacheHadoop，ApacheSparkcontributor。对Hadoop、Spark、Hive、Druid等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。本文来自ApacheSpark技术交流社区。共同点定性上讲，三者均为DataLake的数据存储中间层，其数据管理的功能均是基于一系列的
大数据技术架构·2020-07-28 13:16

Hudi剖析|Apache Hudi Rollback实现分析

1.介绍在发现有些commit出错时，可使用Hudi提供的rollback回滚至指定的commit，这样可防止出现错误的结果，并且当一次commit失败时，也会进行rollback操作，保证一次commit
大数据技术之路---花火·2020-07-28 07:53

Apache+Hudi入门指南（含代码示例）

1.什么是ApacheHudi一个spark库大数据更新解决方案，大数据中没有传统意义的更新，只有append和重写(Hudi就是采用重写方式)使用Hudi的优点使用Bloomfilter机制+二次查找
别过来胖到我了·2020-07-27 22:56

Uber基于Apache Hudi构建PB级数据湖实践

文|hudi来源|ApacheHudi1.引言从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。
LinkTime_Cloud·2020-07-27 16:32

Delta Lake、Iceberg 和 Hudi 三大开源数据湖不知道如何选？那是因为你没看这篇文章...

目前市面上流行的三大开源数据湖方案分别为：delta、ApacheIceberg和ApacheHudi。其中，由于ApacheSpark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。ApacheHudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fastupsert/delete以及compaction等功能可以说是精
过往记忆·2020-07-27 13:55

AWS Athena正式可查询Apache Hudi数据集

Hudi处理数据插入和更新，不会创建太多的小文件(小文件会导致查询端性能降低)，ApacheHudi自动管理及合并小文件，让其保持指定大小，这避免了自建解决方案来监控和重写小文件为大文件。
leesf·2020-07-27 11:00

AWS Athena正式可查询Apache Hudi数据集

Hudi处理数据插入和更新，不会创建太多的小文件(小文件会导致查询端性能降低)，ApacheHudi自动管理及合并小文件，让其保持指定大小，这避免了自建解决方案来监控和重写小文件为大文件。
leesf·2020-07-27 11:00

生态 | Apache Hudi集成Alluxio实践

原文链接：https://mp.weixin.qq.com/s/sT2-KK23tvPY2oziEH11Kw1.什么是AlluxioAlluxio为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。这还使得应用程序能够通过一个公共接口连接到许多存储系统。Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。对于用户应用
leesf·2020-07-20 20:00

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装注意1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi
赵延东的一亩三分地·2020-07-14 17:54

Apache Hudi重磅特性解读之存量表高效迁移机制

为利用Hudi的upsert和增量拉取能力，用户需要重写整个数据集让其成为Hudi表。此RFC提供一个无需重写整张表的高效迁移机制。
leesf·2020-07-13 09:00

Apache Hudi重磅特性解读之存量表高效迁移机制

为利用Hudi的upsert和增量拉取能力，用户需要重写整个数据集让其成为Hudi表。此RFC提供一个无需重写整张表的高效迁移机制。
leesf·2020-07-13 09:00

Uber 如何使用 Apache Hudi 支撑 PB 级数据湖

一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了ApacheSoftwareFoun
过往记忆·2020-07-10 05:34

Delta Lake 和 Apache Hudi 两种数据湖产品全方面对比

DeltaLake是数砖公司在2017年10月推出来的一个项目，并于2019年4月24日在美国旧金山召开的Spark+AISummit2019会上开源的一个存储层。它是DatabricksRuntime重要组成部分。为ApacheSpark和大数据workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间
过往记忆·2020-07-08 12:27

Apache Hudi 详解

1.什么是Hudi？ApacheHudi代表HadoopUpsertsanDIncrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。
大数据技术之路---花火·2020-07-07 23:52

大数据实用组件Hudi--实现管理大型分析数据集在HDFS上的存储

问题导读1.什么是Hudi？2.Hudi对HDFS可以实现哪些操作？3.Hudi与其它组件对比有哪些特点？前两天我们About云群大佬公司想了解Hudi，并上线使用。
about云·2020-07-07 04:38

Apache Hudi architecture and implementation research

Thereare2partsofthearticle，asfollows:1.Hudiscenarioandconcepts2.Performancebottlenecks1.HudiscenarioandconceptsThereisalotofconcepts,someissimilarasHBase.Someisnewconcepts.ButWhatistherelationshipwith
gloria_y·2020-07-06 22:17

大数据之Hudi + Kylin的准实时数仓实现

4、Hudi新一代数据湖项目有什么优势？
贝拉美·2020-07-06 20:11

Apache Hudi重磅特性解读之全局索引

1.摘要Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。当前，Hudi支持分区和非分区的数据集。
leesf·2020-07-06 18:00

Apache Hudi重磅特性解读之全局索引

1.摘要Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。当前，Hudi支持分区和非分区的数据集。
leesf·2020-07-06 18:00

使用Apache Hudi构建大规模、事务性数据湖

一个近期由HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等。什么是数据湖？数据湖是一个集中式的存储，允许以任意规模存储结构化和非结构化数据。你可以存储原始数据，而不需要先转化为结构化的数据，基于数据湖之上可以运行多种类型的分析，如das
大数据技术架构·2020-07-05 16:41

实战|使用Spark结构化流写入Hudi

https://zhuanlan.zhihu.com/p/133316667欢迎关注微信公众号：ApacheHudi1.项目背景传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制
吃鱼的羊·2020-07-02 02:46

Kudu、Hudi和Delta Lake的比较

https://www.cnblogs.com/kehanc/p/12153409.html目录Kudu、Hudi和DeltaLake的比较存储机制读数据更新数据其他如何选择合适的存储方案Kudu、Hudi
吃鱼的羊·2020-07-02 02:13

Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

作者：辛庸，阿里巴巴计算平台事业部EMR技术专家。ApacheHadoop，ApacheSparkcontributor。对Hadoop、Spark、Hive、Druid等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。共同点定性上讲，三者均为DataLake的数据存储中间层，其数据管理的功能均是基于一系列的meta文件。meta文件的角色类似于数据库
weixin_45906054·2020-06-29 16:38

基于 Hudi 和 Kylin 构建准实时高性能数据仓库

在近期的ApacheKylin×ApacheHudiMeetup直播上，ApacheKylinPMCChair史少锋和Kyligence解决方案工程师刘永恒就Hudi+Kylin的准实时数仓实现进行了介绍与演示
Kyligence·2020-06-28 21:42

直播 | Apache Kylin × Apache Hudi Meetup

ApacheKylin与ApacheHudi社区联合举办，将于3月14日晚进行直播，邀请到来自丁香园、腾讯、柯林布瑞以及Kyligence等公司的技术专家，为大家呈现Kylin与「由Uber开源的数据湖项目」Hudi
Kyligence·2020-06-28 21:42

使用Apache Hudi构建大规模、事务性数据湖

一个近期由HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等。什么是数据湖？数据湖是一个集中式的存储，允许以任意规模存储结构化和非结构化数据。你可以存储原始数据，而不需要先转化为结构化的数据，基于数据湖之上可以运行多种类型的分析，如das
leesf·2020-06-27 21:00

使用Apache Hudi构建大规模、事务性数据湖

一个近期由HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等。什么是数据湖？数据湖是一个集中式的存储，允许以任意规模存储结构化和非结构化数据。你可以存储原始数据，而不需要先转化为结构化的数据，基于数据湖之上可以运行多种类型的分析，如das
leesf·2020-06-27 21:00

恭喜，Apache Hudi 即将成为顶级项目！

美国当地时间2020年05月11日，ApacheHudi项目的共同创始人、PMCVinothChandar给社区发了一封标题为[DISCUSS]GraduateApacheHudi(Incubating)asaTLP[1]的邮件，来投票讨论ApacheHudi毕业成为ApacheTLP项目。2020年05月19日共40人投票赞成[2]，不久社区给Apache董事会申请成为TLP，今天（2020年0
过往记忆·2020-06-27 12:56

Apache Hudi：统一批和近实时分析的存储和服务

分为产生背景、动机、设计、使用案例、demo几个模块讲解。Uber的行程在2018年已经达到700个城市，70个国家，200w+司机的规模。而数据在Uber中可分为摄取和查询，而摄取包括从kafka、hdfs上消费数据；查询则包括使用sparknotebook的数据科学家，使用Hive/Presto进行adhoc查询和dashboard展示，使用Spark/Hive构建数据管道或ETL任务等。引入
过往记忆·2020-06-27 12:56

使用Apache Spark和Apache Hudi构建分析数据湖

1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所有更新的历史视图甚至仅是最新增量视图上运
大数据技术架构·2020-06-27 01:45

Apache Hudi：云数据湖解决方案

1.引入开源ApacheHudi项目为Uber等大型组织提供流处理能力，每天可处理数据湖上的数十亿条记录。随着世界各地的组织采用该技术，Apache开源数据湖项目已经日渐成熟。ApacheHudi（HadoopUpsertsDeletesandIncrementals）是一个数据湖项目，可在与ApacheHadoop兼容的云存储系统（包括AmazonS3、AliyunOSS）上进行流数据处理。该项
leesf·2020-06-21 12:00

特性速览| Apache Hudi 0.5.3版本正式发布

ApacheHudi0.5.3SourceRelease(asc,sha512)0.5.3版本相关jar包地址：https://repository.apache.org/#nexus-search;quick~hudi2
leesf·2020-06-19 09:00

特性速览| Apache Hudi 0.5.3版本正式发布

ApacheHudi0.5.3SourceRelease(asc,sha512)0.5.3版本相关jar包地址：https://repository.apache.org/#nexus-search;quick~hudi2
leesf·2020-06-19 09:00

使用Apache Spark和Apache Hudi构建分析数据湖

1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所有更新的历史视图甚至仅是最新增量视图上运
leesf·2020-06-15 09:00

使用Apache Spark和Apache Hudi构建分析数据湖

1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所有更新的历史视图甚至仅是最新增量视图上运
leesf·2020-06-15 09:00

Uber基于Apache Hudi构建PB级数据湖实践

一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了ApacheSoftwareFoun
leesf·2020-06-11 09:00

Uber基于Apache Hudi构建PB级数据湖实践

一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了ApacheSoftwareFoun
leesf·2020-06-11 09:00

调优 | Apache Hudi应用调优指南

通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。
leesf·2020-06-06 15:00

调优 | Apache Hudi应用调优指南

通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。
leesf·2020-06-06 15:00

ASF官方正式宣布Apache Hudi成为顶级项目

在投票表决Hudi毕业时，Hudi总共获得了19票binding（其中包括ASF联合创始人JimJagielski的一票），21票non-binding。ApacheHudi（Hado
leesf·2020-06-05 13:00

ASF官方正式宣布Apache Hudi成为顶级项目

在投票表决Hudi毕业时，Hudi总共获得了19票binding（其中包括ASF联合创始人JimJagielski的一票），21票non-binding。ApacheHudi（Hado
leesf·2020-06-05 13:00

实战| 配置DataDog监控Apache Hudi应用指标

1.可用性在Hudi最新master分支，由Hudi活跃贡献者RaymondXu贡献了DataDog监控Hudi应用指标，该功能将在0.6.0版本发布，也感谢Raymond的投稿。
leesf·2020-06-03 20:00

实战| 配置DataDog监控Apache Hudi应用指标

1.可用性在Hudi最新master分支，由Hudi活跃贡献者RaymondXu贡献了DataDog监控Hudi应用指标，该功能将在0.6.0版本发布，也感谢Raymond的投稿。
leesf·2020-06-03 20:00

Apache Hudi在医疗大数据中的应用

本篇文章主要介绍Hudi在医疗大数据中的应用，主要分为５个部分进行介绍：1.建设背景，2.为什么选择Hudi，3.Hudi数据同步，4.存储类型选择及查询优化，5.未来发展与思考。
leesf·2020-05-29 23:00

Apache Hudi在医疗大数据中的应用

本篇文章主要介绍Hudi在医疗大数据中的应用，主要分为５个部分进行介绍：1.建设背景，2.为什么选择Hudi，3.Hudi数据同步，4.存储类型选择及查询优化，5.未来发展与思考。
leesf·2020-05-29 23:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他