数据湖

数仓、数据湖与湖仓一体化

为了应对更加复杂多变的业务需求，许多机构对数据处理的实时性和融合性提出了更高的要求，“湖仓一体”的概念应运而生，它打破了数据仓库和数据湖之间的壁垒，使得割裂的数据融合统一，减少了数据分析中的搬迁，实现了统一的数据管理
zxe King·2023-03-30 14:01

企业数据存储方式发展趋势：数据仓库-大数据平台-数据湖-湖仓一体

计算成本相对较高，不好做分布式计算；之后出现的大数据平台可以提供完善的大数据分析基础运行环境、也支持结构化数据非结构数据化的数据的存储，但是数据平台在数据治理中的算力不算那么强劲；再之后出现计算能力足够强的数据湖
嘉得乐·2023-03-30 13:59

数据仓库、数据湖、湖仓一体概念

1、数据仓库数据仓库(DataWarehouse)是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（TimeVariant）数据集合，用于支持管理决策和信息的全局共享。其主要功能是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，
勿念久久·2023-03-30 13:48

关于数据湖 数据仓库和湖仓一体

1、数据仓库：传统的数仓ETL建模和分析处理，一般存储良好建模后的数据，主要是sql计算2、数据湖：基于原始的半结构化、非结构化数据，使用分布式的计算任务进行分析和处理，不是基于良好建模的数仓，强调数据的动态模型
eric1984·2023-03-30 13:48

湖仓一体技术解读｜多模数据的融合管理

SequoiaDB从「多模数据湖」、「实时数据湖」发展到「湖仓一体」架构，为客户提供「数据核心」所需的全量数据存储，实时对客服务，及基于统一数据源的分析能力，充分激活客户的离线数据。
巨杉数据库SequoiaDB·2023-03-30 13:38

数据仓库、数据湖、湖仓一体的基本特点

本文介绍什么是数据仓库，数据湖，湖仓一体，并简单介绍各自的特点。1.数据仓库数据仓库的英文名为DataWarehouse，简写为DW。它由数据仓库之父比尔·恩门（BillInmon）于1990年提出。
HuoRuilong·2023-03-30 13:04

数据湖&数据仓库&仓湖一体

数据湖&数据仓库&仓湖一体首先提及一个最常用的概念数据库，但凡是线系统基本都离不开数据库。
敦兮其若朴，旷兮其若谷·2023-03-30 13:28

Lakehouse 架构解析与云上实践

简介：本文整理自DataFunCon2021大会上，阿里云数据湖构建云产品研发陈鑫伟的分享，主要介绍了Lakehouse的架构解析与云上实践。
阿里云云栖号·2023-03-30 10:39

Spark优化工具:Sparklens实操

因为我测试的数据湖iceberg和deltaLake，10个月时间就更新好多新东西，之前测试的基本没啥参考价值了。下面进入正题。我们Spark版本是2.3.2,每天跑的程序嗷嗷多，占的资源也嗷嗷多。
黑眼圈@~@·2023-03-30 01:21

现代数据栈中的消费层

于是一方面，大数据的浪潮席卷而来，每家公司都在致力于收集更多的数据，推动了Hadoop，数据湖等技术的兴起。另一方面，AI成了从海量数据中获取业务价值的“炼金术”，几
七包辣条·2023-03-29 19:22

京东零售大数据云原生架构实践

通常谈到大数据，想到的是大数据平台、Hadoop生态或者数据湖技术，关注于大数据存储、大数据计算方向上的技术发展与应用；谈到云原生，想到的是微服务架构、容器化或者SRE（SiteReliabilityEngineer
特仑苏_T·2023-03-29 18:12

Apache Doris系列之：深入认识实时分析型数据库Apache Doris

ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速
最笨的羊羊·2023-03-29 08:42

大数据中台架构以及建设全流程二（Daas层设计）

数仓架构架构选型数仓整体架构（图片来自网络）数仓分层架构（图片来自网络）主题域划分维度建模需求标准化维度及指标规范管理指标管理流程图数仓建库表规范字段规范实时数仓实时数仓1.0缺点：实时数仓2.0实时数仓3.0数据地图血缘关系数据湖离线数仓痛点实时数仓痛点数据湖
只会写demo的程序猿·2023-03-29 06:02

数据湖架构Hudi（四）Hudi集成Spark案例详解

数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查4.1使用spark-shell方式#启动命令行spark-shell\--conf'spark.serializer
undo_try·2023-03-29 00:12

数据湖架构Hudi（五）Hudi集成Flink案例详解

五、Hudi集成Flink案例详解5.1hudi集成flinkflink的下载地址：https://archive.apache.org/dist/flink/HudiSupportedFlinkversion0.12.x1.15.x、1.14.x、1.13.x0.11.x1.14.x、1.13.x0.10.x1.13.x0.9.01.12.2将上述编译好的安装包拷贝到flink下的jars目录中
undo_try·2023-03-28 23:21

Lambda架构

Lambda架构->实时数仓目前大数据架构已经走向了数据湖时代，无论是单纯的批处理模式，还是同时支持实时和离线数据处理的Lambda架构都已经过时。均不再适应现在大数据的业务发展需要。
锋火连天·2023-03-28 23:00

2万字，详解数据湖，概念、特征、架构、方案、场景以及建湖全过程（建议收藏）...

来源：数据学堂全文共20744个字，建议阅读30分钟最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？
浪尖聊大数据-浪尖·2023-03-26 06:49

专栏 | 解析“全闪对象存储”（二）

所以，对象存储非常适合大量文档、图片、视频存储和处理的场景，包括媒体、备份/归档、视频监控、卫星/气象/地质数据、物联网、大数据、数据湖等等。这些场
大道云行TaoCloud·2023-03-23 20:24

专栏 | 解析“全闪对象存储”（三）

在上一节“对象存储的使用场景”中，我们介绍了对象存储在大规模非结构化数据存储、云存储、大数据和数据湖等场景的使用。那么，优秀对象存储产品是怎样的？如何设计、实现？本节，我们来分析、探讨这些问题。
大道云行TaoCloud·2023-03-23 20:24

《大数据湖最佳实践》读书笔记

本书论述了数据湖基础知识，如基本架构、与数仓的对比、数据存储、元数据处理、数据访问控制等，读完能够让你对数据湖技术有一个概述性的认知。
尘客.·2023-03-23 18:07

数据库，数据仓库，数据湖......下一个是啥？

经过这些年的快速发展，云计算不但成为数字化的基础设施，更是企业持续创新和精益运营的关键支撑。能否从云上获取更多价值，将成为企业能否在数字时代拥有一席之地、持续领先领跑的关键。而云原生对基础设施的革新，带来了一系列“蝴蝶效应”。随着云原生技术已在互联网、金融等行业“落地开花”，云原生基础设施不仅可以丰富数字化应用场景的多元化实践，也将为企业发展提供可持续的内生动力，“智能湖仓”便是其中最为重要的技术
码农翻身·2023-03-23 15:24

李卓豪：网易数帆数据中台逻辑数据湖的实践

file导读：本文将介绍过去15年中，网易大数据团队在应对不断涌现的新需求、新痛点的过程中，逐渐形成的一套逻辑数据湖落地方法。
DataFunTalk·2023-03-22 23:05

数据湖搭建指南——几个核心问题

1、什么是数据湖？数据湖是一种技术系统，可以大批量并且廉价的分析结构化和非结构化数据资产。其实很简单，数据湖的最大魅力在于可以分析一切类型的数据。
大数据流动·2023-03-20 15:55

flink cdc 整合 数据湖hudi 同步 hive

1.版本说明组件版本hudi10.0flink13.5hive3.1.02.实现效果通过flinkcdc整合hudi到hiveflinkcdc讲解flinkcdc1.2实例flinkcdc2.0实例3.flink需要的jar包需要的包：flink-connector-mysql-cdc-2.0.2.jar-rw-r--r--1rootroot78023992月1600:36doris-flink-
wudl5566·2023-03-19 11:32

flink操作hudi数据表

基于flink1.14、spark3.2、hudi0.11，演示flink往hudi数据湖流式地写数据，hive和spark从数据湖读数据文章目录一、为hadoop、hive、flink添加hudi存储格式的支持二
百战天王·2023-03-19 11:32

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

1.测试过程环境版本说明Flink1.13.1Scala2.11CDH6.2.0Hadoop3.0.0Hive2.1.1Hudi0.10(master)PrestoDB0.256Mysql5.72.集群服务器基础环境2.1Maven和JDK环境版本2.2Hadoop集群环境版本2.3HADOOP环境变量配置exportHADOOP_HOME=/opt/cloudera/parcels/CDH/li
大数据技术架构·2023-03-19 11:26

【Hudi数据湖应用】手把手带你应用hudi的hive sync tool与避坑

应用hudi不可避免地要创建对应的hive表以方便查询hudi数据。一般我们使用flink、spark写入数据时，可以配置自动建表、同步元数据。有时也会选择使用hivesynctool工具离线进行操作。一、Hivesynctool的介绍Hudi提供Hivesynctool用于同步hudi最新的元数据（包含自动建表、增加字段、同步分区信息）到hivemetastore。Hivesynctool提供三
大数据点灯人·2023-03-19 11:18

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下

集成Spark开发Spark编程读写示例通过IDE如Idea编程实质上和前面的spark-shell和spark-sql相似，其他都是Spark编程的知识，下面以scala语言为示例，idea新建scala的maven项目pom文件添加如下依赖4.0.0cn.itxshoodie-spark-demo1.0UTF-82.12.102.123.3.00.12.13.3.4org.scala-lang
jh035512·2023-03-19 11:47

详述 Flink CDC 打通数据实时入湖！

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
Richard123m·2023-03-19 11:43

数据仓库、数据湖、数据中台一文读懂【2】

大数据封面.png4.1概述Pentaho首席技术官JamesDixon创造了“数据湖”一词。它把数据集市描述成一瓶水（清洗过的，包装过的和结构化易于使用的）。
笔名辉哥·2023-03-18 12:13

听说你还在为海量数据构建不同数据仓库？华为云学院DataLake了解一下！

initsnaturalformat,thatfacilitatesthecollocationofdatainvariousschemataandstructuralforms,usuallyobjectblobsorfiles”数据湖是在系统或
舒意从生·2023-03-16 15:15

基于Apache Hudi构建智能湖仓实践（附亚马逊工程师代码）

本文来源于网络，如有侵权，联系浪尖删除：langjianliaodashuju转自：hudi数据仓库的数据体系严格、治理容易，业务规模越大，ROI越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI
浪尖聊大数据-浪尖·2023-03-15 08:50

浅谈一个新人的大数据之路

第一章，大数据之路浅谈数仓&数据集市&数据湖**数据仓库**：英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
CCCCCColdkl·2023-03-14 14:57

数据湖技术之 Hudi 框架概述

第一章Hudi框架概述先了解什么是数据湖DataLake，及Hudi数据湖框架功能及各个版本特性。
潘小磊·2023-03-14 11:58

数据湖-hudi概述

前言数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。
zxfBdd·2023-03-14 11:22

【Hudi】Apache Hudi 设计与架构最强解读

1.简介ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
九层之台起于累土·2023-03-14 11:13

关于数据仓库面试题的整理

6.大数据的相关系统7.构建数据中台8.关于数据湖的相关理论9.DW最重要的是什么？10.Conceptual,Logical,andPyhisicalDataMod
DB架构·2023-03-14 04:48

互联网摸鱼日报（2023-03-12）

ApacheDoris极速数据湖分析深度解读Log4j一周年观察：我们如何应对日益严峻的软件供应链安全风险？P
每日摸鱼大王·2023-03-13 18:45

三大开源数据湖产品选型快速指南

lakefs.io/hudi-iceberg-and-delta-lake-data-lake-table-formats-compared/Iceberg,Hudi和DeltaLake是现在最热门的开源数据湖产品
獭小贝·2023-03-12 14:16

【Hudi】Apache Hudi 设计与架构最强解读

1.简介ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
九层之台起于累土·2023-03-10 08:40

Tapdata Connector 实用指南：实时数仓场景之数据实时同步至 ClickHouse

典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。随着TapdataConnector的不断增长，我们最新推出《
·2023-02-24 20:37

数据库、数据仓库和数据湖的区别

数据库数据湖数据仓库一、区别：数据湖作为一个集中的存储库，可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中，可以存储数据不需要对其进行结构化，就可以运行不同类型的分析。
清棂露·2023-02-23 07:26

数据库、数据仓库与数据湖的概念与基本特点

一、数据库1，定义：数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。2，特点：（1）数据结构化让数据彼此之间
晓之以理的喵~~·2023-02-23 07:55

详解数据仓库、数据湖、数据中台和湖仓一体

一、前言数字化转型浪潮卷起各种新老概念满天飞，数据湖、数据仓库、数据中台轮番在朋友圈刷屏，有人说“数据中台算个啥，数据湖才是趋势”，有人说“再见了数据湖、数据仓库，数据中台已成气候”……企业还没推开数字化大门
奔跑者-辉·2023-02-23 07:53

从数据安全治理角度梳理数据库、数据仓库、数据湖、数据平台、数据中台之间的区别和关系

我们在做数据安全时不可避免会涉及到数据的存储和调取，那不同企业在描述自己数据存储和调取的系统时，会提到各种各样的称呼：数据库、数据仓库、数据湖、大数据平台，目前还出现了数据中台。
谷雨之际·2023-02-23 07:53

数据库、数据仓库与数据湖

1数据库数据库包含关系型数据库存和非关系型数据库。我们通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据。关系型数据库的主要用于联机事务处理OLTP（On-LineTransactionProcessing）主要进行基本的、日常的事务处理，例如银行交易等场景。主要特点：结构化程度高独立性强冗余度低2数据仓库数据仓库，由数据仓库之父比尔·恩门
L13763338360·2023-02-23 07:50

数据平台发展史-从数据仓库数据湖到数据湖仓

数据平台发展史-从数据仓库数据湖到数据湖仓做数据的同学经常听到一些数据相关的术语，常见的包括数据仓库，逻辑数据仓库，数据湖，数据湖仓/湖仓一体，数据网格datamesh,数据编织datafabric等.
明哥的IT随笔·2023-02-23 07:50

数据仓库与数据湖的区别

数据湖通常包含用于高级分析应用程序的各种大数据集，而数据仓库则存储用于基本BI、分析和报告用途的传统事务数据。下面，让我们更仔细地看一下这两个数据存储以及它们之间的差异。1.什么是数据湖？
Jelly lee·2023-02-23 07:49

Tapdata Connector 实用指南：数据入仓场景之数据实时同步到 BigQuery

典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。引用随着TapdataConnector的不断增长，我们最新推
·2023-02-20 18:52

Iceberg 腾讯新闻 首发实战

有最新的数据湖Iceberg技术，一切都迎刃而解！
Jason峰帅·2023-02-18 18:35
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他