数据湖第20页

Flink CDC模式写入Hudi

一个数据小开发·2022-07-13 08:35

Flink SQL Kafka写入Hudi详解

1、背景前面Hudi的专栏已经详细讲解过本地如何构建这套Hudi的运行环境，在此就不在重复了，如果感兴趣想了解的可以去学习下，从0到1搭建数据湖Hudi环境_一个数据小开发的博客-CSDN博客本次重点是为了能够很好的理解

一个数据小开发·2022-07-13 08:34

从0到1搭建数据湖Hudi环境

一、目标前面一篇博文中已经详细讲解过数据湖Hudi相关的一些基本概念，想学习下的，可以去看下。数据湖基本概念--什么是数据湖，数据湖又能干什么？

一个数据小开发·2022-07-13 08:34

数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi

一、什么是数据湖对于经常跟数据打交道的同学，初步听到数据湖这个概念的时候，肯定有点懵，但是相信大家对于数据仓库这个概念并不陌生。

一个数据小开发·2022-07-13 08:01

数据湖常用查询优化技术——《DEEPNOVA开发者社区》

作者：闻乃松MinMax每个Iceberg文件的头部元数据信息中记录了当前文件每个列的最大最小值，比如下图中的parquet文件数据记录包含两列：year和uid，file1.parquet中列year的最大和最小值分别是2019和2018，列uid的最大和最小值分别是23000和12000。当我们进行查询select*fromeventwhereyear=2019anduid=20000因为这些

·2022-07-08 16:00

数据湖技术详解

智化新时代，数据即价值。一切业务数据化，一切数据分析精准化。随着全民数智化应用的不断拓展，诸多业务平台数据量急剧膨胀，掌握多维度、多平台、多渠道、跨领域业务相关数据的离线和实时分析能力，成为当下和未来大数据研发工程师、系统架构师职场发展的必备技能。应对关系型结构化数据，传统的数仓技术游刃有余，但对于更为宽泛、多元的异构数据，却爱莫能助。海量音视频、Email、PDF等异构数据大量丢失，影响分析结果

公众号:ITIL之家·2022-07-08 11:32

实时工业大数据产品实践——上汽集团数据湖

所负责的上汽数据湖产品

coqonmdrr954803650·2022-07-08 11:00

大数据架构师——数据湖技术（一）

文章目录数据湖技术概述什么是数据湖？大数据为什么需要数据湖？

yangwei_sir·2022-07-08 11:29

阿里云云原生一体化数仓 — 分析服务一体化新能力解读

简介：本文主要介绍如何通过Hologres在分析和服务场景下的新功能，包括资源隔离，数据湖（Delta、Hudi）的支持、JSON优化支持等。

·2022-07-05 18:43

数仓建模—指标体系

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系一文搞懂ETL和ELT的区别数据湖知识点技术选型|OLAP大数据技术哪家强？

·2022-07-04 18:32

数仓建模—宽表的设计

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系一文搞懂ETL和ELT的区别数据湖知识点技术选型|OLAP大数据技术哪家强？

·2022-07-04 18:02

云原生数据湖以存储、计算、数据管理等能力通过信通院评测认证

又一项大能力-云原生数据湖获得信通院认证啦！

·2022-06-24 13:37

破解湖+仓混合架构顽疾，星环科技推出自主可控云原生湖仓一体平台

单一数据湖和数据仓库已不能顺应数据分析的发展趋势，越来越多企业开始基

·2022-06-24 11:23

Kafka ETL 之后，我们将如何定义新一代实时数据集成解决方案？

上一个十年，以Hadoop为代表的大数据技术发展如火如荼，各种数据平台、数据湖、数据中台等产品和解决方案层出不穷，这些方案最常用的场景包括统一汇聚企业数据，并对这些离线数据进行分析洞察，来达到辅助决策或者辅助营销的目的

·2022-06-23 23:44

关于 Data Lake 的概念、架构与应用场景介绍

什么是数据湖（DataLake）？

·2022-06-22 18:28

数据湖构建—如何构建湖上统一的数据权限

简介：阿里云数据湖构建产品（DLF）提供的统一元数据服务，通过完善各种引擎/表格式生态解决了数据湖场景下多引擎面临的数据孤岛和元数据一致性问题，实现了开源大数据引擎及数据湖格式元数据的统一视图，避免了各引擎访问湖上数据其中额外的

·2022-06-21 10:40

[LakeHouse] 数据湖之Iceberg一种开放的表格式

欢迎关注公众号“Tim在路上”今天来闲谈下数据湖三剑客中的iceberg。Iceberg项目2017年由Netflix发起，它是在2018年被Netflix捐赠给Apache基金会的项目。

Tim在路上·2022-06-17 22:45

一文带你了解Lakehouse的并发控制：我们是否过于乐观

https://edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/354751.概述如今数据湖上的事务被认为是

www_xuhss_com·2022-06-17 13:07

终于有人把数据湖讲明白了

作者：彭锋宋文欣孙浩峰来源：数仓宝贝库作为全局数据汇总及处理的核心功能，数据湖在数据中台建设中必不可少。那么它与数据仓库、数据中台是什么关系？

大数据v·2022-06-17 11:44

数据湖（三）

各厂商的数据湖解决方案数据湖作为当前的一个风口，各大云厂商纷纷推出自己的数据湖解决方案及相关产品。

朝辉惜时·2022-06-17 10:07

数据湖的概念以及解决方案

今天这篇文章主要介绍数据湖（datalake）的定义，其次介绍各大云厂商的解决方案以及目前的开源解决方案。定义看下维基百科的定义：数据湖是一个以原始格式(通常是对象块或文件)存储数据的系统或存储库。

weixin_30371469·2022-06-17 10:04

安全分析丨不要让你的数据湖变成数据沼泽

今天悬镜小编就带您来看：您的数据是成了数据湖，还是数据沼泽？当使用Hadoop从数

悬镜安全·2022-06-17 10:36

经典的数据湖“不可能三角”，如何有效解决？

数据湖是什么？提到数据湖就要先说一下数据仓库，数据仓库是集成多业务系统数据、面向主题的、专门用于数据查询分析的数据组织形式。

Lucifer三思而后行·2022-06-17 10:05

李呈祥：bilibili在湖仓一体查询加速上的实践与探索

导读：本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下，探索查询加速以及索引增强的一些实践。

DataFunTalk·2022-06-15 11:00

大数据三种主流架构（Lambda、Kappa、IOTA）

Lambda架构Lambda架构的介绍Lambda架构的关键性Lambda的三层架构Lambda的三层架构SpeedLayer速度层Servinglayer服务层Lambda的缺点kappa架构IOTA架构前言数据湖内的数据在利用的时候一般会遵循

一只楠喃·2022-06-15 07:55

数据仓库面试知识总结

4、什么是数据湖？

蓦然_·2022-06-15 07:09

2021-01-05

乔治大哥的博客02-29648大数据、数据治理、数据湖、数据中台……连绵不绝的

weixin_46315812·2022-06-07 14:40

Data Lake数据湖详解2.0

一、什么是数据湖数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。

000X000·2022-06-04 07:10

技术趋势-大数据架构

细数一下，大数据架构目前比较热的词包括：*数据湖、湖仓一体*批流合一、实时计算*存算分离、存储虚拟化*交易和分析融合，OLAP、HTAP、HSAP等等，基本上还是围绕大数据平台的存储和计算的两大主题。

舟行·2022-06-01 04:25

Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文作者罗龙文，分享了如何通过FlinkCDC、Hudi、Hive、Presto等构建数据湖。

Apache Flink·2022-05-31 07:45

数据湖技术Hudi0.10master测试流程

Hudi0.10master测试流程Hudi粗糙介绍hudi同步hive底层大概是什么原理，都是指向同一份存储没有拷贝数据吗，hive是怎么实现update、delete逻辑。hudi底层其实还是hdfs，只不过hudi提供对写入数据包括其metadata的管理和数据组织方式，通过hudi本身支持acid语义，这样可以确保数据写入和hive存放hdfs方式一致，再在hive增加对应metadata

我去探险了·2022-05-31 07:45

数据湖：Hudi构建中台

用Flink的话可能要改源码三个开源数据湖技术：都支持多数据格式，流批一体，acid语义保证，支持tableschemadelta：绑定了spark（一家公司），功能不完善hudi：在spark在2.4.3

榛西·2022-05-31 07:13

Hudi数据湖简介

下面首先放一张Hudi在Hadoop体系架构中的位置图：1.什么是数据湖？首先介绍一下什么是数据湖，提到数据湖，不得不说一下数据仓库。

阿福Chris·2022-05-31 07:40

数据湖架构开发-Hudi入门教程

为了更好管理数据，出现数据湖DataLake：用来存储大量的原始数据。

是一只萨摩耶·2022-05-31 07:10

数据湖（五）：Hudi与Hive集成

大数据联盟地址：https://bbs.csdn.net/forums/lanson文章目录Hudi与Hive集成一、配置HiveServer21、在Hive服务端配置hive-site.xml2、在每台Hadoop节点配置core-site.xml,记得发送到所有节点3、重启HDFS，Hive，在Hive服务端启动Metastore和HiveServer2服务4、在客户端通过beeline连接H

Lansonli·2022-05-31 07:39

李卓豪：网易数帆数据中台逻辑数据湖的实践

导读：本文将介绍过去15年中，网易大数据团队在应对不断涌现的新需求、新痛点的过程中，逐渐形成的一套逻辑数据湖落地方法。

DataFunTalk·2022-05-28 20:00

大数据MapReduce是什么

云原生数据湖MRS（MapReduceService）为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBas

·2022-05-27 11:26

一文读懂数据湖的概念、特征、架构与案例

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。

公众号:肉眼品世界·2022-05-27 07:56

4万字全面解读数据中台、数据仓库、数据湖等概念！建议收藏！

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易

公众号:肉眼品世界·2022-05-27 07:26

深入浅出亚马逊AWS数据湖

正文开始一、认识数据湖1、初识数据湖Datalake，我第一次接触这个概念，是在2014年IBM组织的数据治理交流论坛上。当时只是认为“数据湖”就是一个概念，没什么新意，“不就是把不同结构的

傅一平·2022-05-27 07:06

数据湖与数据仓库的根本区别，在于前者是“市场经济”，而后者是“计划经济”...

正文开始很多同学跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，有不觉明历的，也有认为是概念炒作的，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。有些

傅一平·2022-05-27 07:06

一文读懂数据仓库、数据湖、湖仓一体

目录1、数据仓库数据仓库的特征2、数据湖数据湖的特征数据仓库和数据湖的对比3、湖仓一体湖仓一体的特征湖仓一体的优势智能湖仓数据仓库、数据湖、湖仓一体对比1、数据仓库数据仓库，英文名称为DataWarehouse

若小鱼·2022-05-27 07:25

亚马逊云科技 2022 年 3 月新服务新功能强势来袭

从计算、存储和数据库等基础设施技术，到机器学习、人工智能、数据湖和分析以及物联网等新兴技术，亚马逊云科技为客户提供多样的服务及功能。

·2022-05-23 11:53

如何透过 Serverless 与 API 的方式异步搜寻数据湖中的数据

背景介绍为了要解决数据孤岛的问题(DataSilos)，我们需要建立一个集中式的数据湖，更进一步在上面满足各式各样的数据分析与机器学习相关的需求。

·2022-05-22 10:30

华为云数据“黑科技”，赋能社群电商领跑者“云”出道

【摘要】为支撑电商公司梦饷集团的经营分析、精细化拓客、风控、创新业务洞察等应用场景，华为云云原生数据湖使用数据湖探索DLI+数据仓库DWS作为基础数据处理层支持离线、实时、交互式场景，并无缝对接上层AI

·2022-05-18 09:17

如何使用Delta Lake构建批流一体数据仓库

简介：DeltaLake是一个开源存储层，它为数据湖带来了可靠性。DeltaLake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。

·2022-05-13 14:14

数据湖揭秘—Delta Lake

简介：DeltaLake是DataBricks公司开源的、用于构建湖仓架构的存储框架。能够支持Spark，Flink，Hive，PrestoDB，Trino等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证。DeltaLake简介DeltaLake是DataBricks公司开源的、用于构建湖仓架构的存储框架。能够支持Spark，Flin

·2022-05-13 12:30

KLOOK客路旅行基于Apache Hudi的数据湖实践

1.业务背景介绍客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当地交通与美食预订服务。覆盖全球100个国家及地区，支持12种语言和41种货币的支付系统,与超过10000家商户合作伙伴紧密合作，为全球旅行者提供10万多种旅行体验预订服务。

leesf·2022-05-12 23:00

实践数据湖iceberg 第三十二课 DDL语句通过hive catalog持久化方法

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到

*星星之火*·2022-05-10 20:13

写文章点击打开星环科技的主页星环科技多模型大数据基础平台TDH9.0：十种数据模型组合拳打通大数据业务全场景

2021年TDH8.0发布，TDH已成为一个企业级大数据基础平台，基于其领先的多模型技术架构，8种异构存储引擎支持10种数据模型，被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖

·2022-05-10 14:04

推荐频道

数据湖