数据湖

从理论到实践，实时湖仓功能架构设计与落地实战

在上篇文章中，我们向大家解释了为什么实时湖仓是当前企业数字化转型过程中的解决之道，介绍了实时计算和数据湖结合的应用场景。（“数据驱动”时代，企业为什么需要实时湖仓？）
袋鼠云数栈·2023-10-18 13:51

回顾 | Apache Flink x Iceberg Meetup · 上海站精彩回顾 (附PPT下载)

本次Meetup，社区邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的4位技术专家分享了超多关于Flink&数据湖的内容，全方位解析数据湖生产应用难题。
Apache Flink·2023-10-18 11:46

BI工具-DataEase(2) 基础使用

先讲下工具栏,分别是仪表盘,数据集,数据源,模板市场等等.和大多数的BI工具一样,首先配置的就是数据源1.数据源:支持OLTP,OLAP,数仓/数据湖,我们这边还是使用的mysql新建mysql数据源,
大曲·蜗牛·2023-10-17 18:53

数据库、数据中台、数据仓库、数据湖区别

数据时代，各行业的企业都已经开始通过数据库来沉淀数据，但是真的论起数据库、数据仓库、数据中台，还是新出现的数据湖，它们的概念和区别，可能知道的人就比较少了，今天我们详细来比较了解一下。
那小子、真烦·2023-10-17 13:06

阿里云“玩转云上 StarRocks3.0 湖仓分析”，开启数据分析新范式

通过存算分离架构，帮助用户降低存储成本、提升计算弹性；通过数据湖
阿里云大数据AI技术·2023-10-16 12:27

数据湖和数据仓库的区别？

进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？
RonnieZhang1989·2023-10-15 03:25

Flink CDC使用DataStream API方式同步数据到Iceberg数据湖

目录1.背景2.同步表情况3.程序4.结果说明1.背景虽然使用SQL的方式进行同步非常方便。但是该方式，每向一个Iceberg目标表导入数据，都会向集群提交一个Application，非常消耗集群的资源通过DataStreamAPI的方式，可以只检索Mysql的数据源一次，就可同步多个数据库的多个数据表。然后通过Flink的SideOutput将数据分成多个流。然后再将多个流分别导入到不同的Ice
Bulut0907·2023-10-14 01:45

apache atlas 案例_元数据治理 Apache Atlas

采用Hadoop必须考虑数据管理的实际情况，元数据与数据治理成为企业级数据湖的重要部分。该项
CelioHsu·2023-10-13 18:47

Dremio：新一代数据湖仓引擎

Dremio数据湖引擎1、什么是Dremio2、数据湖仓2.1、什么是数据湖仓2.2、数据湖仓的历史和演变2.3、开放数据对数据湖和湖仓的重要性2.4、数据湖仓的作用2.5、数据湖仓如何工作2.6、数据湖仓的元素
对许·2023-10-12 15:03

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下

文章目录集成Spark开发Spark编程读写示例DeltaStreamer集成Flink环境准备sql-clent使用启动插入数据流式读取Bucket索引HudiCatalog集成Spark开发Spark编程读写示例通过IDE如Idea编程实质上和前面的spark-shell和spark-sql相似，其他都是Spark编程的知识，下面以scala语言为示例，idea新建scala的maven项目p
IT小神·2023-10-12 15:56

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-上

文章目录概述定义发展历史特性使用场景编译安装编译环境编译Hudi关键概念TimeLine(时间轴)FileLayouts(文件布局)索引表类型查询类型概述定义ApacheHudi官网地址https://hudi.apache.org/ApacheHudi官网文档https://hudi.apache.org/docs/overviewApacheHudiGitHub源码地址https://gith
IT小神·2023-10-12 15:55

大数据之Hudi数据湖_版本兼容与Maven安装配置_解决Hudi与Hadoop3.0的兼容问题_编译hudi源码---大数据之Hudi数据湖工作笔记0002

然后我们来看一下,hudi我们这次安装的时候,各个组件的版本信息这个hudi对各个版本的支持还是很多的,需要在安装的时候查一下具体的可以这样查一下去看一下具体的hudi对spark的支持是多少,对flink的支持的版本是多少等等可以很容易查到然后hudi
脑瓜凉·2023-10-12 15:47

数据仓库与数据湖的联系与区别

一、数据仓库1，定义数据仓库是从广泛的运营和外部数据源中积累的组织数据的大型存储库。数据经过结构化、过滤并已针对特定目的进行处理。数据仓库会定期从各种内部应用程序和外部合作伙伴系统中提取处理过的数据，以进行高级查询和分析。2，数据仓库系统作用（1）提供加强的商业智能BI利用从各种数据源提供的数据，管理人员和高管们将不再需要凭着有限的数据或他们的直觉做出商业决策。此外,“数据仓库及相关商业智能BI可
晓之以理的喵~~·2023-10-11 22:03

数据仓库与数据湖的区别以及数据入湖方式

数据仓库与数据湖的区别1)从使用对象来看，数据仓库主要是给BI分析的数据分析师使用的，而数据湖是给AI处理的数据科学家使用，数据仓库也可以给AI使用，但是侧重点是BI.2)从数据处理的过程来看，数据仓库是
一米大六的八个·2023-10-11 22:21

余老师带你学习大数据框架全栈第十三章Hudi第一节核心技术

1.前言1.1为什么产生数据湖数据量比较大，越来越不满足处理结构化的数据，比如说数仓，数仓就是处理结构化数据。
weixin_45810046·2023-10-11 20:55

流式数据湖平台Hudi核心概念二：表和查询类型

Hudi表类型定义了如何在DFS上对数据进行索引和布局，以及如何在此类组织之上实现上述原语和时间线活动（即如何写入数据）。反过来，查询类型定义了底层数据如何向查询公开（即如何读取数据）。表类型支持的查询类型CopyOnWrite快照查询增量查询增量查询（CDC）timetravel
shangjg3·2023-10-11 20:54

流式数据湖平台Hudi核心概念一：时间线

1.什么是HudiHudi（HadoopUpsertsDeletesandIncrementals）是一个开源的数据湖工具，用于管理大规模数据湖中的数据。
shangjg3·2023-10-11 20:53

数据湖系列(1) - Hudi 核心功能原理剖析

随着互联网业务的逐步成熟，数仓和模型训练的基本盘逐步稳固，越来越多的工程师从业务开发需求转移到了工程的架构升级，而常用的Hudi和Iceberg往往会成为替代Hive/Hdfs等架构升级的选型。概要网上关于Hudi和Iceberg对比的内容有很多，比如Iceberg对Schema友好，Hudi支持Upsert等优劣点的对比，这些内容很大程度上已经过时，在未来的几个月内，我们就能看到大部分关键功能在
小晨说数据·2023-10-11 20:49

流式数据湖平台Hudi核心概念三：索引

1.索引Hudi通过索引机制将给定的hoodiekey（recordkey+分区路径）映射到文件id，实现了高效的upstart。一旦将记录的第一个版本写入文件，recordkey和文件组/文件id之间的映射就永远不会改变。简而言之，映射的文件组包含一组记录的所有版本。对于Copy-On-Write表，可以实现快速的追加和删除操作，避免了对整个数据集进行连接以确定要重写的文件。对于Merge-On
shangjg3·2023-10-11 20:17

iceberg简介004_iceberg和其他数据湖框架的对比---数据湖Apache Iceberg工作笔记0004

然后来看一下iceberg和其他数据湖框架的对比这里可以看到hudi支持的多一点对吧,但是iceberg有自己的优势,并且他们都支持timeline也就是时间旅行对吧.然后这个图是显示了,数据湖三剑客的开源时间
脑瓜凉·2023-10-11 02:47

【数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式&写入模式&Bucket索引】

数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式一、读取方式1流读（StreamingQuery）二、限流三、写入方式1.CDC数据同步1.使用第二种方式cdc+kafka进行mysql
Apache Minor Trend·2023-10-10 21:36

【数据湖Hudi-8-Hudi集成Flink-入门】

数据湖Hudi-8-Hudi集成Flink-入门Hudi集成Flink入门1.Hudi集成Flink版本对照关系2.Flink环境准备3.FlinkSQLClient方式处理任务1.修改配置2.创建表格
Apache Minor Trend·2023-10-10 21:06

系统架构设计：11 论湖仓一体架构及其应用

目录一湖仓一体（Lakehouse）1数据仓库2数据湖3数据仓库和数据湖4湖仓一体（Lakehouse）
Jackilina_Stone·2023-10-10 18:01

Linux 部署 MinIO 分布式对象存储 & 配置为 typora 图床

前言MinIO是一款高性能的对象存储系统，它可以用于大规模的AI/ML、数据湖和数据库工作负载。它的API与AmazonS3云存储服务完全兼容，可以在任何云或本地基础设施上运行。
凉了的凉茶·2023-10-10 14:51

天翼云 云中台融合部署（大纲案例）

”的统一技术底座构建云化IPTV业务管理平台，按照L3标准上云，具体包括：1.业务平台上天翼云；2.不依赖特定的专用硬件和商业软件；3.通过云翼平台使用PaaS清单内组件；4.平台数据按照规范要求入大数据湖
小可爱J 人工智能学者 全栈工程师·2023-10-10 08:32

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
阿里云云栖号·2023-10-09 08:33

数据湖

一、什么是数据湖数据湖这一概念，最早是在2011年由CITOResearch网站的CTO和作家DanWoods首次提出。
大数据翻身·2023-10-09 08:31

系统架构设计：论文论点目录

论微服务架构及其应用系统架构设计：5论软件的可靠性设计系统架构设计：6论软件质量保证及其应用系统架构设计：7论企业集成架构设计及应用系统架构设计：8论软件架构风格系统架构设计：9论软件系统架构评估及其应用系统架构设计：10论数据湖技术及其应用系统架构设计
Jackilina_Stone·2023-10-08 09:08

大数据之巅：深入分析数据湖架构的优势

文章目录什么是数据湖？
IT·陈寒·2023-10-08 08:30

Nessie 像git一样管理你的数据

Nessie可以管理像git分支，合并数据源等一些特性；受git的版本管理启发跨表事务和可见性支持hive,spark,AWSAthena,dremio，管理其数据湖的数据深度和ApacheIceberg
卫渐行·2023-10-07 07:31

数据湖｜Flink + Iceberg 全场景实时数仓的建设实践

整理｜路培杰（Flink社区志愿者）摘要：ApacheFlink是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以Iceberg、Hudi、Delta为代表的解决方案应运而生
大数据技术架构·2023-10-05 13:31

FFA 2021 专场解读 - 实时数据湖

其中，实时数据湖专场，来自阿里巴巴、字节跳动、网易的技术专家们将解读如何构建数据湖平台、简化实时数据入湖入仓等相关问题，更有Flink+Iceb
Apache Flink·2023-10-03 21:19

数据湖 vs 数据仓库

参考4KeyDifferencesBetweenaDataLakeandaDataWarehouse-数据湖的数据都是原始数据，结构化的或者是非结构化的数据都有，是一个用来存储原始数据的仓库。
Bitson·2023-10-02 16:13

hudi介绍

hudi介绍数据湖产生背景hudi介绍Timeline文件Layout数据湖产生背景数据湖的产出原因是数据处理架构的升级，最初版本的lambda架构，在Processor上是两套结构（streamprocessor
左林右李02·2023-10-01 11:22

数据中台实战(00)-大数据的尽头是数据中台吗？

与数仓、数据湖、大数据平台啥区别？来深入大数据发展史，先从数仓出现讲起，途径数
JavaEdge.·2023-10-01 03:18

怎么使用 Go 语言操作 Apache Doris

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单
hf200012·2023-09-29 12:29

数据智能· 数据湖· BI Superset

一．背景介绍数据分析和探索是日常常见的需求，Superset就是能否符合该要求的一款工具。Supersetisamoderndataexplorationanddatavisualizationplatform.Supersetcanreplaceoraugmentproprietarybusinessintelligencetoolsformanyteams.Supersetintegrates
sinwaj·2023-09-29 04:58

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要
泊浮目·2023-09-29 02:17

夯实数据“底座”，AWS完整云存储阵容吹响“集结号”

回顾企业数据的演进史，从早期的数据报表，到实时互动的仪表盘，到数据仓库，到今天的数据湖。企业拥有生产经营各个环节产生的、产品和服务相关环节背后隐藏的，以及企业利益相关者等方方面面的数据。
云智时代·2023-09-28 23:58

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖
KaiwuDB 数据库·2023-09-28 21:17

禾观科技采用亚马逊云科技的数据湖，实现数据化驱动运营的核心

如今，随着本土业务发展渐趋成熟，越来越多的中国企业开始依托跨境电商实现产品出口外销，大力拓展海外布局。在这一背景下，众多潜在机遇涌现，成为跨境电商“蓝海”的必争之地。杭州禾观科技有限公司是面向全球新兴快时尚的时尚品牌，是一家科技驱动的B2C电商，坚信人机结合的数据科学理念。应用亚马逊云科技广泛而深入的全球化基础设施、以及全托管的机器学习解决方案，禾观科技业务稳定性、可扩展性得到保障，智能搜索技术得
前沿商业·2023-09-28 14:34

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖
·2023-09-27 16:55

现代数据架构-湖仓一体

当前的数据架构已经从数据库、数据仓库，发展到了数据湖、湖仓一体架构，本篇文章从头梳理了一下数据行业发展的脉络。
ladofwind·2023-09-27 14:59

基于 DTS 同步 MySQL 全增量数据至 CKafka，构建实时数仓的最佳实践

通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。全量
·2023-09-26 21:29

Hudi数据湖技术引领大数据新风口(四)核心概念

文章目录第3章核心概念3.1基本概念3.1.1时间轴（TimeLine）3.1.2文件布局（FileLayout）3.1.3索引（Index）后记第3章核心概念3.1基本概念3.1.1时间轴（TimeLine）Hudi的核心是维护表上在不同的即时时间（instants）\执行的所有操作的时间轴（timeline）\，这有助于提供表的即时视图，同时还有效地支持按到达顺序检索数据。一个instant由
Maynor996·2023-09-25 06:27

【Phoenix】phoenix实现每个Primarykey主键保留N版本数据，CDC数据记录为Changelog格式

另外数据湖Hudi(0.13.1)是不支持保存所有Changelog其Compaction机制会清除所有旧版本的内容。
lisacumt·2023-09-25 04:12

Zoom 在数据湖上的流批一体架构实践！

1.背景OnZoom是Zoom新产品，是基于ZoomMeeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zoom用户提供创建、主持和盈利的活动，如健身课、音乐会、站立表演或即兴表演，以及Zoom会议平台上的音乐课程。在OnZoomdataplatform中，source数据主要分为MySQLDB数据和Log数据。其中Kafka
程序员的隐秘角落·2023-09-25 02:25

数据湖在爱奇艺数据中台的应用

01我们眼中的数据湖作为爱奇艺的数据中台团队，我们的核心任务是管理和服务公司内的大量数据资产。在实施数据治理的过程中，我们不断吸收新的理念，引入尖端的工具，以精细化我们的数据体系管理。
爱奇艺技术产品团队·2023-09-24 18:31

大数据杂谈

架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务，深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是数仓的增强版本格式管理数据管理时间旅行
February13·2023-09-24 08:26

大数据的崭露头角：数据湖与数据仓库的融合之道

文章目录数据湖与数据仓库的基本概念数据湖（DataLake）数据仓库（DataWarehouse）数据湖和数据仓库的优势和劣势数据湖的优势数据湖的劣势数据仓库的优势数据仓库的劣势数据湖与数据仓库的融合之道
IT·陈寒·2023-09-24 04:31
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他