数据湖

大数据MapReduce是什么

云原生数据湖MRS（MapReduceService）为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBas
·2022-05-27 11:26

一文读懂数据湖的概念、特征、架构与案例

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。
公众号:肉眼品世界·2022-05-27 07:56

4万字 全面解读数据中台、数据仓库、数据湖等概念！建议收藏！

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易
公众号:肉眼品世界·2022-05-27 07:26

深入浅出亚马逊AWS数据湖

正文开始一、认识数据湖1、初识数据湖Datalake，我第一次接触这个概念，是在2014年IBM组织的数据治理交流论坛上。当时只是认为“数据湖”就是一个概念，没什么新意，“不就是把不同结构的
傅一平·2022-05-27 07:06

数据湖与数据仓库的根本区别，在于前者是“市场经济”，而后者是“计划经济”...

正文开始很多同学跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，有不觉明历的，也有认为是概念炒作的，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。有些
傅一平·2022-05-27 07:06

一文读懂数据仓库、数据湖、湖仓一体

目录1、数据仓库数据仓库的特征2、数据湖数据湖的特征数据仓库和数据湖的对比3、湖仓一体湖仓一体的特征湖仓一体的优势智能湖仓数据仓库、数据湖、湖仓一体对比1、数据仓库数据仓库，英文名称为DataWarehouse
若小鱼·2022-05-27 07:25

亚马逊云科技 2022 年 3 月新服务新功能强势来袭

从计算、存储和数据库等基础设施技术，到机器学习、人工智能、数据湖和分析以及物联网等新兴技术，亚马逊云科技为客户提供多样的服务及功能。
·2022-05-23 11:53

如何透过 Serverless 与 API 的方式异步搜寻数据湖中的数据

背景介绍为了要解决数据孤岛的问题(DataSilos)，我们需要建立一个集中式的数据湖，更进一步在上面满足各式各样的数据分析与机器学习相关的需求。
·2022-05-22 10:30

华为云数据“黑科技”，赋能社群电商领跑者“云”出道

【摘要】为支撑电商公司梦饷集团的经营分析、精细化拓客、风控、创新业务洞察等应用场景，华为云云原生数据湖使用数据湖探索DLI+数据仓库DWS作为基础数据处理层支持离线、实时、交互式场景，并无缝对接上层AI
·2022-05-18 09:17

如何使用Delta Lake构建批流一体数据仓库

简介：DeltaLake是一个开源存储层，它为数据湖带来了可靠性。DeltaLake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。
·2022-05-13 14:14

数据湖揭秘—Delta Lake

简介：DeltaLake是DataBricks公司开源的、用于构建湖仓架构的存储框架。能够支持Spark，Flink，Hive，PrestoDB，Trino等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证。DeltaLake简介DeltaLake是DataBricks公司开源的、用于构建湖仓架构的存储框架。能够支持Spark，Flin
·2022-05-13 12:30

KLOOK客路旅行基于Apache Hudi的数据湖实践

1.业务背景介绍客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当地交通与美食预订服务。覆盖全球100个国家及地区，支持12种语言和41种货币的支付系统,与超过10000家商户合作伙伴紧密合作，为全球旅行者提供10万多种旅行体验预订服务。
leesf·2022-05-12 23:00

实践数据湖iceberg 第三十二课 DDL语句通过hive catalog持久化方法

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2022-05-10 20:13

写文章 点击打开星环科技的主页 星环科技多模型大数据基础平台TDH9.0：十种数据模型组合拳 打通大数据业务全场景

2021年TDH8.0发布，TDH已成为一个企业级大数据基础平台，基于其领先的多模型技术架构，8种异构存储引擎支持10种数据模型，被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖
·2022-05-10 14:04

数据湖探索的精准定位分析

今天我们介绍的是数据湖探索。什么是数据湖探索呢？
·2022-05-09 11:29

Flink CDC Meetup · Online，5.21 开讲！

随着近几年实时计算技术的迅猛发展，涌现了实时OLAP、实时数据湖、实时数仓等架构，较好地解决了湖仓实时化问题。然而实时化需要的是端到端的解决方案，除了湖仓实时化之外，我们还急需数据集成的实时化。
·2022-05-09 11:24

大数据MapReduce服务

云原生数据湖MRS（MapReduceService）为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBas
·2022-05-05 15:01

JuiceFS 在数据湖存储架构上的探索

大家好，我是来自Juicedata的高昌健，今天想跟大家分享的主题是《JuiceFS在数据湖存储架构上的探索》，以下是今天分享的提纲：首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点，然后介绍什么是
·2022-05-05 13:23

JuiceFS 在数据湖存储架构上的探索

大家好，我是来自Juicedata的高昌健，今天想跟大家分享的主题是《JuiceFS在数据湖存储架构上的探索》，以下是今天分享的提纲：首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点，然后介绍什么是
JuiceFS·2022-05-05 13:00

湖仓一体，Hologres加速云数据湖DLF原理解析

本期我们将带来Hologres高性能分析引擎加速查询云数据湖DLF的技术原理解析。随着云服务被接受的程度不断提升，云用户日益愿意将其收集的数据存储在低成本的对象存储里，比如OSS，S3等。
·2022-04-26 15:08

Hudi起源分析——DEEPNOVA开发者社区

1、概述Hudi（HadoopUpdateDeleteIncremental）官方介绍是为数据湖之上提供事务支持、行级别更新/删除（RowLevelUpdate/deletes）和变更流（ChangeStream
·2022-04-25 17:07

使用Apache Hudi 加速传统的批处理模式的方法

目录1.现状说明1.1数据湖摄取和计算过程-处理更新1.2当前批处理过程中的挑战2.Hudi数据湖—查询模式2.1面向分析师的表/OLAP（按created_date分区）2.2面向ETL（按更新日期分区
·2022-04-24 11:58

Apache Hudi 如何加速传统的批处理模式？

1.现状说明1.1数据湖摄取和计算过程-处理更新在我们的用例中1-10%是对历史记录的更新。
leesf·2022-04-23 06:00

精彩回顾 | DEEPNOVA x Iceberg Meetup Online《基于Iceberg打造实时数据湖》

以《基于Iceberg打造实时数据湖》为主题，本次活动邀请了来自阿里云、网易数帆、滴普科技等企业技术专家，共同探讨Iceberg技术发展史及在国产化数据中的应用与实践，展望湖仓一体技术未来发展趋势与行业前景
·2022-04-21 19:41

亚马逊云科技 2022 年 3 月新服务新功能强势来袭

从计算、存储和数据库等基础设施技术，到机器学习、人工智能、数据湖和分析以及物联网等新兴技术，亚马逊云科技为客户提供多样的服务及功能。
·2022-04-18 10:33

华为云大数据：企业的“寻宝鼠”

何为华为云FusionInisght智能数据湖？有什么用，真的是企业“寻宝鼠”，下面听我一一道来。
·2022-04-16 09:17

阿里云发布中国云原生数据湖应用洞察白皮书

近日，阿里云发布《中国云原生数据湖应用洞察白皮书》。在数字经济的背景下，互联网行业及传统企业加速云化转型，中国整体云服务市场的规模逐年扩增，云成为新一代IT基础设施已经成为不争的事实。
·2022-04-15 16:34

数仓建模—指标体系

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系一文搞懂ETL和ELT的区别数据湖知识点技术选型|OLAP大数据技术哪家强？
大数据技术派·2022-04-14 15:45

阿里云强力贡献：如何让 StarRocks 做到极速数据湖分析

作者阿里云EMR开源大数据OLAP团队StarRocks社区分析湖团队StarRocks是一个强大的数据分析系统，主要宗旨是为用户提供极速、统一并且易用的数据分析能力，以帮助用户通过更低的使用成本来更快的洞察数据的价值。通过精简的架构、高效的向量化引擎以及全新设计的基于成本的优化器（CBO），StarRocks的分析性能（尤其是多表Join查询）得以远超同类产品。为了能够满足更多用户对于极速分析数
·2022-04-13 17:00

杂记 什么是数据湖？

一、数据湖概述1、概念数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。
bashendixie5·2022-04-13 07:02

2022数据湖技术摘要

DataFunSummit2022数据湖论坛数据湖技术论坛(xiaoe-tech.com)1.美团增量数仓的探索和实践美团离线增量数据的探索和实践Hadoop没有主键概念hive没有主键概念upsert
冰菓_·2022-04-10 21:22

阿里云贾扬清：数据湖正成为企业数据应用创新标配

简介：全球数据湖峰会开幕。数字经济蓬勃发展的今天，越来越多的用户已经从“上好云”，走到了“用好云”的这个阶段。如果说在“上好云这个阶段，大多数用户关心的是如何在成本上获得更好的回报。
·2022-04-08 10:11

基于Apache Hudi在Google云构建数据湖平台的思路详解

自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分析，并且产生的数据量非常巨大！有效地存储数PB数据并拥有必要的工具来查询它以便使用它至关重要，只有这
·2022-04-07 12:27

Apache Hudi - 初步了解

背景Hudi是Uber主导开发的开源数据湖框架。所以大部分的出发点都来源于Uber自身场景，比如司机数据和乘客数据通过订单Id来做Join等。在Hudi过去的使用场景里，和大
万州客·2022-04-07 09:41

基于Apache Hudi在Google云构建数据湖平台

自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分
leesf·2022-04-07 08:00

华为云DLI连接PowerBI Desktop实践指南

想要实现PowerBIReportBuilder或者PowerBIDesktop连接华为云DLI数据湖探索服务，
·2022-04-06 11:50

基于Apache Hudi和Debezium构建CDC入湖管道

从Hudiv0.10.0开始，我们很高兴地宣布推出适用于Deltastreamer的Debezium源，它提供从Postgres和MySQL数据库到数据湖的变更捕获数据(CDC)的摄取。
leesf·2022-04-05 20:00

【DEEPNOVA x Iceberg】基于 Iceberg 打造实时数据湖-线上meetup火热报名中

4月16日，DEEPNOVA开发者社区联合Iceberg社区共同推出的“DEEPNOVAMEETUPOnline”将正式举行，活动主题为《基于Iceberg打造实时数据湖》。
·2022-04-02 16:26

Robinhood基于Apache Hudi的下一代数据湖实践

需要快速、可靠、安全和以隐私为中心的数据湖摄取服务来支持各种报告、关键业务管道和仪表板。不仅在数据存储规模和查询方面，也在我们在数据湖支持的用例方面，我们从最初的数据湖版本[1]都取得了很大的进展。
·2022-04-02 11:03

七夕特辑 | 前沿技术合集

中台专题中台到底在共享什么关于数据仓库、数据湖、数据平台和数据中台的概念和区别数据中台：民生银行的实践滴滴业务中台构建实践，首次曝光金融「中台」十宗罪什么是中台——来自阿
互联互通社区·2022-04-02 07:41

阿里云：已有10000家企业在云上构建数据湖

3月31日，阿里云全球数据湖峰会上，阿里云从“湖管理、湖存储和湖计算“这三个方面，为观众带来了“数据湖3.0”的重磅升级方案。为用户呈现数据湖在各
·2022-04-01 11:53

最新大厂数据湖面试题，知识点总结

本文是一篇数据湖的面试题，同时也是数据湖知识点的讲解目录：一、什么是数据湖二、数据湖的发展三、数据湖有哪些优势四、数据湖应该具备哪些能力五、数据湖的实现遇到了哪些问题六、数据湖与数据仓库的区别七、为什么要做数据湖
·2022-03-31 21:21

最新大厂数据湖面试题，知识点总结

本文是一篇数据湖的面试题，同时也是数据湖知识点的讲解目录：一、什么是数据湖二、数据湖的发展三、数据湖有哪些优势四、数据湖应该具备哪些能力五、数据湖的实现遇到了哪些问题六、数据湖与数据仓库的区别七、为什么要做数据湖
五分钟学大数据·2022-03-31 21:00

Robinhood基于Apache Hudi的下一代数据湖实践

需要快速、可靠、安全和以隐私为中心的数据湖摄取服务来支持各种报告、关键业务管道和仪表板。不仅在数据存储规模和查询方面，也在我们在数据湖支持的用例方面，我们从最初的数据湖版本都取得了很大的进展。
leesf·2022-03-31 15:00

基于华为云原生数据湖MRS HetuEgine的数据虚拟化实践

华为云原生数据湖MRSHetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。数据虚拟化是指一种数据管理方式，允许应用在不关心数据
·2022-03-31 14:48

Apache Pulsar结合Hudi构建Lakehouse方案分析

动机Lakehouse最早由Databricks公司提出，其可作为低成本、直接访问云存储并提供传统DBMS管系统性能和ACID事务、版本、审计、索引、缓存、查询优化的数据管理系统，Lakehouse结合数据湖
·2022-03-31 10:55

Apache Hudi数据布局黑科技降低一半查询时间

在数据湖/仓库中，需要在摄取速度和查询性能之间进行权衡，数据摄取通常更喜欢小文件
·2022-03-30 20:07

Lakehouse数据湖并发控制陷阱分析

目录1.概述2.数据湖并发控制中的陷阱3.模型1：单写入，内联表服务4.模型2：单写入，异步表服务5.模型3：多写入1.概述如今数据湖上的事务被认为是Lakehouse的一个关键特征。
·2022-03-30 18:20

为什么成功的数据网格实施需要数据虚拟化？

组织多年来的一贯做法是将所有数据整合到单一位置，例如数据仓库或近年来兴起的数据湖。
·2022-03-30 15:52

字节跳动基于 Apache Hudi 的多流拼接实践方案

字节跳动数据湖团队在实时数仓构建宽表的业务场景中，探索实践出的一种基于HudiPayload的合并机制提出的全新解决方案。
·2022-03-30 14:46
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他