数据湖第4页

大数据存储架构学习摘要：数据仓库、数据集市、数据湖、数据网格、湖仓一体

整体思维导图数据仓库数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合。数据仓库的主要目标是提供一致、可靠、易于访问的数据，以支持企业的决策制定和分析。它可以帮助企业了解自己的业务、市场以及客户，并提供决策支持和预测分析的能力。数据仓库在商业智能和数据分析领域有着广泛的应

耗子背刀PK猫·2023-12-18 02:19

2w字详解数据湖：概念、特征、架构与案例

最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？

公众号:肉眼品世界·2023-12-17 15:33

什么是BI、数据仓库、数据湖和数据中台，他们有什么差异？

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵进行系统的解析

公众号:肉眼品世界·2023-12-17 15:03

奇瑞捷豹路虎上云历程和深度优化之道（二）：清理和标准化

2022年8月奇瑞捷豹路虎汽车有限公司（以下简称：奇瑞捷豹路虎）的SAP系统全面开启云上之旅项目，数据湖等应用也迁入亚马逊云科技的LandingZone（着陆区）后，团队在初始阶段对新的资源管理模式感到相当困惑

亚马逊云开发者·2023-12-16 13:06

Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库

这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上，用户可以构建各种应用，如用户行为分析、AB测试平台

码农小旋风·2023-12-16 11:51

数据中台架构原理与开发实战：理解数据湖与数据中台的关系

1.背景介绍随着互联网、移动互联网、云计算等新兴技术的不断推进，越来越多的公司开始了数据集成、数据处理和分析的大规模工程建设。但是，由于需求的不断变化，公司面临的数据维度爆炸、数据价值难以量化、数据分析延迟增长等一系列数据管理难题，如何构建一个具有自主知识产权保护能力和数据价值的数据中台成为迫切需求。数据中台（DataHub）是一个数据平台，它作为多个异构数据源的集合点，能够汇聚各类数据并进行数据

禅与计算机程序设计艺术·2023-12-15 19:08

【华为数据之道学习笔记】5-2华为数据湖的特点

华为数据湖是逻辑上对内外部的结构化、非结构化的原始数据的逻辑汇聚。数据入湖要遵从6项入湖标准，基于6项标准保证入湖的质量，同时面向不同的消费场景提供两种入湖方式，满足数据消费的要求。

码农丁丁·2023-12-15 11:47

re:Invent 2023 | 简化复杂数据湖环境中的数据安全

关键字:[AmazonWebServicesre:Invent2023,AmazonS3AccessGrants,DataAccessControl,DataGovernance,S3Access,DataSecurity,DataLake]本文字数:900,阅读完需:4分钟视频如视频不能正常播放，请前往bilibili观看本视频。>>https://www.bilibili.com/video/

taibaili2023·2023-12-15 11:40

揭秘数据库、数据仓库、数据湖和数据湖之家

什么是数据湖和数据湖屋？让我们用一个假设的例子来理解这些。Bookster.biz是全球图书销售领域的新热点。

沃趣数据库管理平台·2023-12-15 10:13

干货 | 携程酒店基于血缘元数据的数据流程优化实践

作者简介九号，携程数据技术专家，关注数据仓库架构、数据湖、流式计算、数据治理。

携程技术·2023-12-15 10:45

提升数据分析效率：Amazon S3 Express One Zone数据湖实战教程

实现概述技术架构组件实现步骤概览第一步：构建数据湖的基础第二步：选择并查看数据集第三步：在Athena中搭建架构第四步：数据转换与优化第五步：查询和验证数据第六步：将更多数据添加到表第七步：性能和成本效益分析体会结语附录提升数据分析效率

AI_Maynor·2023-12-15 08:43

Apache Paimon流式湖仓学习交流群成立

ApachePaimon是一个流式数据湖平台。致力于构建一个实时、高效的流式数据湖平台。这个项目采用了先进的流式计算技术，使企业能够实时处理和分析大量数据。

大数据流动·2023-12-06 13:25

玩转大数据7：数据湖与数据仓库的比较与选择

1.引言在当今数字化的世界中，数据被视为一种宝贵的资源，而数据湖和数据仓库则是两种重要的数据处理工具。本文将详细介绍这两种工具的概念、作用以及它们之间的区别和联系。

沛沛老爹·2023-12-06 06:42

大数据转型方案：首推数据湖！

最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。

zhisheng_blog·2023-12-05 02:12

数据治理的湖仓一体架构

1.2数据仓库、数据湖和湖仓一体的差异数据仓库、数据湖和湖仓一体之间的差异（见表1）主要体现在以下几点。

AIGC方案·2023-12-04 07:55

Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。

hf200012·2023-12-03 16:07

大数据湖项目建设方案：文档全文101页，附下载

关键词：大数据解决方案，数据湖解决方案，数据治理解决方案，数据中台解决方案一、大数据湖建设思路1、明确目标和定位：明确大数据湖的目标和定位是整个项目的基础，这可以帮助我们确定项目的内容、规模、所需的技术以及如何评估项目的效果

方案365·2023-12-03 08:05

数据湖和中央数据仓库的设计

设计数据湖或中央数据仓库是许多大型组织的主要职能，这些组织每天处理数百万笔交易，并对这些交易进行进一步的报告、预测或机器学习项目分析。

小技术君·2023-12-03 05:23

一本书读懂数据治理

读后感数据湖和数据仓库的对比数据治理的价值数据管理存在的问题数据治理的4个层面数据治理8项举措数据治理7种能力数据治理7把利剑书摘企业

4935同学·2023-12-02 23:24

重温 re:Invent，分享十年成长：我和 re:Invent的故事

文章目录前言背景我和re:Invent的交际历届峰会主题2012突破技术垄断2013革新数据服务2014更好用的云服务2015打通最后一-公里2016迈向云上数据湖时代2017重构云计算基础2018云能力的再进化

想你依然心痛·2023-11-30 14:44

解决Spark SQL读数据库时不支持某些数据类型的问题

之前开发数据湖新版本时使用SparkSQL来完成ETL的工作，但是遇到了SparkSQL不支持某些数据类型（比如ORACLE中的TimestampwithlocalTimezone）的问题。

alexlee666·2023-11-28 20:49

zaloni

zalonibysennchihttps://resources.zaloni.com数据湖公司

sennchi·2023-11-28 17:10

Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。

hf200012·2023-11-28 07:59

Apache Iceberg核心原理分析文件存储及数据写入流程

第一部分：Iceberg文件存储格式ApacheIceberg作为一款新兴的数据湖解决方案在实现上高度抽象，在存储上能够对接当前主流的HDFS，S3文件系统并且支持多种文件存储格式，例如Parquet、

王知无(import_bigdata)·2023-11-27 19:25

COS 数据湖最佳实践：基于 Serverless 架构的入湖方案

数据湖（DataLake）概念自2011年被推出后，其概念定位、架构设计和相关技术都得到了飞速发展和众多实践，数据湖也从单一数据存储池概念演进为包括ETL分析、数据转换及数据处理的下一代基础数据平台。

Serverless·2023-11-24 17:19

知乎热议：数据仓库、数据湖、湖仓一体，究竟有什么区别？

来源：知乎作者：十叶心全文共14108个字，建议阅读20分钟一、基本概念1.1数仓发展历史数据湖是以集中方式存储各种类型数据，提供弹性的容量和吞吐能力，能够覆盖广泛的数据源，支持多种计算与处理分析引擎直接对数据进行访问的统一存储平台

浪尖聊大数据-浪尖·2023-11-22 13:30

数据中台架构原理与开发实战：数据中台面临的挑战与解决方案

作者：禅与计算机程序设计艺术1.背景介绍数据中台是一种以数据仓库、数据湖、数据集市和分析平台等多种技术组件组合而成的大型IT系统，能够提供企业数据存储、加工、分析、应用的综合化服务，能够实现“智能4.0

禅与计算机程序设计艺术·2023-11-21 23:38

数据湖学习笔记No.03（数据仓库）

数据仓库资料链接：https://cloud.fynote.com/share/d/f3WMWzN数据分析业务痛点分析业务系统数据：存放在关系数据库中用户日志数据：用户在系统中产生javaweb为什么需要大数据？数据存储有瓶颈数据计算有瓶颈实时场景计算有瓶颈数据挖掘有瓶颈构建大数据平台基础知识数据库三范式：1、第一范式（1NF）：原子性，字段不可分2、第二范式（2NF）：唯一性，有主键，非主键字段

SEUsmith·2023-11-21 22:34

万字详解大数据架构新概念

▲点击上方“老于的笔记”关注公众号回复1，免费获取B端运营地图正文来了随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。

于连林_·2023-11-21 22:53

构建数据湖上低延迟数据 Pipeline 的实践

T摘要·云原生与数据湖是当今大数据领域最热的2个话题，本文着重从为什么传统数仓无法满足业务需求?为何需要建设数据湖？

DolphinScheduler社区·2023-11-19 14:39

阿里云云原生一体化数仓 - 数据安全能力解读

MaxCompute产品简介MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持全部数据湖能力的大数据平台，支持超大规模、serverless和完善的多租户能力，内建企业级安全能力和管理功能

阿里云云栖号·2023-11-18 21:28

什么是数据湖，数据湖和数据仓库的区别在哪

数据仓库是什么数据仓库数据湖数据来自事务系统、运营数据库和业务线应用程序的清洗过结构化数据来自IoT设备、网站、移动应用程序、社交媒体和企业应用程序的原始数据架构设计在数据仓库实施之前（写入型Schema

我去探险了·2023-11-17 13:45

云上11.11｜腾讯云大数据产品双11盛惠爆品首单1折起大回馈

11.11云上盛惠多款大数据产品特惠专场腾讯云BI、ElasticsearchService、流计算Oceanus、腾讯云数据仓库TCHouse-D、移动推送、数据湖计算DLC首月秒杀1元起、新客首购1.2

腾讯云大数据·2023-11-17 11:24

CloudCanal和Canal的区别

研发团队CloudCanal核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作，包括阿里云分布式数据库中间件产品DRDS、内部核心系统数据同步工具精卫、阿里云数据湖产品

ClouGence·2023-11-17 10:31

《网易-数据中台》学习笔记

《网易-数据中台》学习笔记1.大数据发展历程1.1数据仓库1.2Hadoop-数据湖1.3大数据平台1.4数据中台1.5Next：大数据+人工智能2.数据仓库2.1数据仓库建模2.1.1E-R模型2.1.2

杰克jk船长·2023-11-17 07:15

华为云大数据智能数据湖FusionInsight

华为预计，到2025年全球每年新增数据存储量为180ZB，企业的数据利用率将会达到86%。到2030年数据应用（包括大数据和AI）将会给全球带来13万亿美元的收益，为全球经济贡献16%的GDP增长。其中，传统行业将会成为未来10年数据应用增速最快、受益最大的主体。未来是一个高速发展的时代，掌握最新最有用的信息就能赶上时代的风口，这时候就需要大数据分析，华为云大数据满足你企业对数据分析的一切需求。通

硬核技术控·2023-11-17 04:03

后季暖·2023-11-16 23:46

Flink 整合 hudi

它广泛应用于大数据领域，为数据湖环境下的数据操作提供了强大的支持。不仅可以存储数据，也可以将元数据存在在其中。

新手小农·2023-11-16 08:21

数据湖实操讲解【 AI 训练加速】第十八讲：Fluid + JindoFS 对海量小文件的训练加速...

数据湖技术圈本期导读：【AI训练加速】第十八讲主题：Fluid+JindoFS对海量小文件的训练加速讲师：辰山，阿里巴巴计算平台事业部EMR技术专家内容框架：海量小文件难题FluidJindoRuntime

Apache Spark中国社区·2023-11-15 22:41

数据湖实操讲解【 AI 训练加速】第十七讲：Fluid + JindoFS 对 HDFS 上的数据进行训练加速...

数据湖技术圈本期导读：【AI训练加速】第十七讲主题：Fluid+JindoFS对HDFS上的数据进行训练加速讲师：辰山，阿里巴巴计算平台事业部EMR技术专家内容框架：什么是Fluid+JindoFS（JindoRuntime

Apache Spark中国社区·2023-11-15 22:41

数据湖架构

数据湖架构介绍数据湖（DataLake）是一个存储大量结构化和非结构化数据的集中式数据存储库。与传统的数据仓库不同，数据湖采用扁平化结构，将数据存储在原始形式下，不需要进行预处理或转化。

溟有常青木·2023-11-15 07:47

探索数据湖和大数据在亚马逊云服务云存储服务上的威力

数据湖和亚马逊云服务云存储服务上的大数据是一个强大的组合，使组织能够充分发挥其数据的潜力。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。

亚马逊云开发者·2023-11-15 05:02

AWS 大数据实战 - 环境准备(一)

实验介绍本次实战内容将教大家如何使用AWS的大数据和数据湖的相关服务和组件，顺利完成大数据的收集，存储，处理，分析和可视化的完整的流程，主要会介绍以下几个AWS大数据服务：Lab1：实时流数据处理，基于

wzlinux·2023-11-15 03:34

数据仓库基础信息

数据仓库数据仓库概述什么是数据库什么是数据集市什么是数据仓库数据仓库和数据库的对比什么是数据湖数据存储架构数据处理工具聚焦如何把数据搬到湖里关注如何对湖中的数据进行分析、挖掘、利用数据湖和数据仓库的对比数据仓库的特点数据仓库是集成的数据仓库的数据是稳定的

daladalabao·2023-11-14 11:50

亚马逊云科技 2022 年 3 月新服务新功能强势来袭

从计算、存储和数据库等基础设施技术，到机器学习、人工智能、数据湖和分析以及物联网等新兴技术，亚马逊云科技为客户提供多样的服务及功能。

亚马逊云开发者·2023-11-14 03:53

从Hadoop到对象存储，抛弃Hadoop，数据湖才能重获新生？

Hadoop与数据湖的关系1、Hadoop时代的落幕2、Databricks和Snowflake做对了什么3、Hadoop与对象存储（OSD）4、Databricks与Snowflake为什么选择对象存储

对许·2023-11-12 05:15

Iceberg 学习笔记

本博客对应于B站尚硅谷教学视频尚硅谷数据湖Iceberg实战教程（尚硅谷&ApacheIceberg官方联合推出），为视频对应笔记的相关整理。

第一片心意·2023-11-11 19:46

限时领票｜走进 2023 · 云栖大会，看大咖对话开源

扫描议程底部二维码，或点击「阅读原文」领取门票～嘉宾及话题介绍话题一｜阿里云开源大数据平台3.0技术解读演讲嘉宾：王峰阿里云研究员，开源大数据平台负责人■话题简介自2009年起，经历了大数据上云的1.0时代，以数据湖和实时化为代表的

Apache Spark中国社区·2023-11-11 08:49

Paimon 与 Spark 的集成（一）

PaimonApachePaimon(incubating)是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。

Apache Spark中国社区·2023-11-11 08:44

数据湖：概念、特征和应用实例

spm=smpc.null.fd-news.14.1591168052546p2dxjaq“数据湖”：概念、特征、架构与案例（1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案

Leo笑·2023-11-11 05:02

推荐频道

数据湖