数据湖

EMR StarRocks 极速数据湖分析原理解析

简介：数据湖概念日益火热，本文由阿里云开源大数据OLAP团队和StarRocks数据湖分析团队共同为大家介绍“StarRocks极速数据湖分析”背后的原理。
·2022-03-29 10:39

一文带你了解Lakehouse的并发控制：我们是否过于乐观

1.概述如今数据湖上的事务被认为是Lakehouse的一个关键特征。但到目前为止，实际完成了什么？目前有哪些方法？它们在现实世界中的表现如何？这些问题是本博客的重点。
leesf·2022-03-27 10:00

关系数据库数据入湖的场景及方案总结

批量数据迁移工具，可以一次全量、一次全量+批次增量的方式将数据从关系数据库的数据迁移到数据湖，往往入湖时效性（从数据产生到数据进入数据湖贴源层）在10多分钟或更长，如15分钟左右，取决于批次增量迁移任务的时间间隔
·2022-03-26 09:58

一文读懂Data Lake的概念、特征、架构与案例

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。
架构师小秘圈·2022-03-26 07:26

Flink 在米哈游的落地实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓和数据湖探索未来发展与展望一、背景介绍米哈游成立于2011年，致力于为用户提供美好的、超出预期的产品与内容。
·2022-03-24 15:45

Flink 在米哈游的落地实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓和数据湖探索未来发展与展望一、背景介绍米哈游成立于2011年，致力于为用户提供美好的、超出预期的产品与内容。
·2022-03-24 11:41

基于MRS-Hudi构建数据湖的典型应用场景介绍

一、传统数据湖存在的问题与挑战传统数据湖解决方案中，常用Hive来构建T+1级别的数据仓库，通过HDFS存储实现海量数据的存储与水平扩容，通过Hive实现元数据的管理以及数据操作的SQL化。
·2022-03-23 10:02

华为云MRS基于Hudi和HetuEngine构建实时数据湖最佳实践

数据湖与实时数据湖是什么？各个行业企业都在构建企业级数据湖，将企业内多种格式数据源汇聚的大数据平台，通过严格的数据权限和资源管控，将数据和算力开放给各种使用者。
·2022-03-23 09:56

数栈在湖仓一体上的探索与实践

导读：大数据技术的发展历程中，继数据仓库、数据湖之后，大数据平台的又一革新技术——湖仓一体近年来开始引起业内关注。市场发展催生的数据管理需求一直是数据技术革新的动力。
·2022-03-21 20:24

华为云FusionInsight MRS容灾：大数据两地三中心的容灾也可以如此省心

背景介绍随着数据湖技术从离线向实时的发展，数据湖在业务已逐渐从辅助决策向实时决策，实时干预甚至提前预防的方向发展，同时，随着国家把数据作为第五种生产要素，数据据价值在逐步提升，这样对海量数据湖的可靠性提出了新的要求
·2022-03-21 11:35

使用MRS CDL实现实时数据同步的极致性能

MRSCDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。
·2022-03-21 11:33

湖仓一体天花板，大数据一站式交互式SQL分析技术

（一）背景早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。
·2022-03-15 17:52

StarRocks 2.1 新版本特性介绍

支持ApacheIceberg外表（公测中）ApacheIceberg是目前最为流行的构建数据湖的方案之一。在支持了Hi
·2022-03-15 10:52

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
·2022-03-10 11:31

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
阿里云云栖号·2022-03-10 03:00

如何打造极速数据湖分析引擎

“作者：阿里云EMR开源大数据OLAP团队，StarRocks社区数据湖分析团队”前言数字产业化和产业数字化成为经济驱动的重要动力，企业的数据分析场景越来越频繁，对数据分析的要求也越来越高。
·2022-03-09 18:22

华为云大数据轻模式体验：忘掉底层烦恼，专注数据开发

摘要：本文通过具体的实例来对华为云数据湖治理中心DGC进行全方位的认识和了解，透过华为理念下形成的轻量级通用解决方案探讨中长尾企业如何应对数据治理上的难题。
华为云开发者社区·2022-03-09 15:00

如何打造一款极速数据湖分析引擎

简介：本文向读者详细揭秘了数据湖分析引擎的关键技术，并通过StarRocks来帮助用户进一步理解系统的架构。
·2022-03-09 15:04

当 TiDB 遇上 Flink：TiDB 高效入湖“新玩法” | TiLaker 团队访谈

数据湖是大数据领域近年来非常火热的技术，传统数仓无法实现增量数据的实时更新，也无法支持灵活的元数据格式，数据湖技术便在这一背景下诞生了。
TiDB_PingCAP·2022-03-07 14:44

数据湖三剑客，大数据时代的新范式？

随着互联网高速发展，大数据技术快速发展和迅速迭代，降低了用户处理海量数据的门槛，越来越多的应运场景出现在我们的身边存储和处理需求越来越多样化，逐渐呈现出数据仓库往数据湖方向发展、批处理往流式处理发展、本地部署往云模式发展的趋势
疯码牛Pro·2022-03-03 20:00

【案例】基于星环科技数据云平台TDC为富国基金建设万能的数据湖

本篇将介绍星环科技如何基于数据云平台TDC为富国基金建设万能的数据湖，助力其实现数据统一与共享交换。案例背景富国基金管理有限公司成立于1999年，是中
·2022-03-01 15:11

数据湖当立！

前言前两天，我详细剖析了一下这两天脉脉上很火的数据建模帖子。指出来帖子里百度小哥“只见宽表不见建模”的核心原因是整个数据圈的核心逻辑变了。然后就引起了建模群里一帮人在疯狂吐槽。也有大厂的数仓大佬高屋建瓴，指点江山，侃侃而谈。为啥吐槽？因为我们知道，这再也不是以前数据至上、工程为先的俄罗斯方块游戏了，而是客户至上、业务为先的神庙逃亡游戏。但是绝大多数企业的数据仓库工程师，究竟还是沦落到拉宽表的境地。
dbLenis·2022-02-28 15:14

数据仓库、数据集市、数据湖、数据中台介绍

数据仓库概念数据仓库是一个功能性的概念，主要是面向主题、集成、相对稳定、能够反应历史变化的数据集合，支持管理中的决策制定，主要面向分析型数据处理介绍数据仓库是由多个数据源的有效集成，集成后按照主题进行重组，包含历史数据，一般情况下不会对数据仓库中的数据进行更改，多数据源集成主要是为了解决数据孤岛的问题，比如各个业务系统可能存在的地理位置、数据的存储格式、不通的商业平台（oracle、mysql等）
学士_·2022-02-28 15:36

一文区别数据库、数据仓库、数据湖、数据中台

文章目录前言数据库前言你是否和我一样，对数据库、数据仓库、数据湖、数据中台的概念傻傻分不清楚，明明都是用来存数据，哪来这么多叫法呢。
麦地与诗人·2022-02-28 15:17

Hudi Bucket Index 在字节跳动的设计与实践

由字节跳动数据湖团队贡献的RFC-29BucketIndex在近期合入Hudi主分支，本文详细介绍HudiBucketIndex产生的背景与实践经验。
·2022-02-28 13:06

万字详解数据仓库、数据湖、数据中台和湖仓一体

本文目录：一、前言二、概念解析数据仓库数据湖数据中台三、具体区别数据仓库VS数据湖数据仓库VS数据中台总结四、湖仓一体目前数据存储方案DataLakehouse（湖仓一体）一、前言数字化转型浪潮卷起各种新老概念满天飞
五分钟学大数据·2022-02-23 11:37

万字详解数据仓库、数据湖、数据中台和湖仓一体

本文目录：一、前言二、概念解析数据仓库数据湖数据中台三、具体区别数据仓库VS数据湖数据仓库VS数据中台总结四、湖仓一体目前数据存储方案DataLakehouse（湖仓一体）一、前言数字化转型浪潮卷起各种新老概念满天飞
·2022-02-22 10:24

万字详解数据仓库、数据湖、数据中台和湖仓一体

本文目录：一、前言二、概念解析数据仓库数据湖数据中台三、具体区别数据仓库VS数据湖数据仓库VS数据中台总结四、湖仓一体目前数据存储方案DataLakehouse（湖仓一体）一、前言数字化转型浪潮卷起各种新老概念满天飞
五分钟学大数据·2022-02-22 09:00

数据湖调研

什么是数据湖？数据湖是一个安全的集中式存储库，它以数据原始形式和可用于分析的形式存储所有数据，并提供弹性容量和吞吐能力，支持多种计算与处理分析引擎直接对数据进行访问。
毛毛虫小姑娘·2022-02-20 08:28

华为数据之道"数据谷解读"之五 数据湖

华为数据湖是个逻辑术语，也是存储汇聚的企业数据，表示数据自业务系统原始获取未作转换的保存】01华为数据湖的3个特点华为数据湖（如图5-2所示）是逻辑上对内外部的结构化、非结构化的原始数据的逻辑汇聚。
数据智能谷·2022-02-19 13:38

关于数据仓库、数据湖、数据平台和数据中台的概念和区别

我们谈论数据中台之前，我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别，下面我们将围绕数据平台、数据仓库、数据湖和数据中台的区别进行介绍。
garyond·2022-02-17 09:26

使用 Flink Hudi 构建流式数据湖平台

ApacheHudi101FlinkHudiIntegrationFlinkHudiUseCaseApacheHudiRoadmapFFA2021直播回放&演讲PDF下载一、ApacheHudi101提到数据湖
·2022-02-16 19:12

加速全球云原生布局，Kyligence 智能数据云正式支持 Google Cloud

KyligenceCloud采用领先的云原生架构，使各企业和组织能在数据湖上灵活地开发创新型的大数据分析应用，同时实现成本的最优化。Kyligenc
·2022-02-16 10:52

数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

索性我们就来个专题，聊透数据库、数据仓库、数据湖以及风头正劲的“Lakehouse”——湖仓一体化。数据仓库是个啥？和数据库有什么不同？数据库的基本概念，大家应该都不陌生。
hzbooks·2022-02-16 08:58

当 TiDB 遇上 Flink：TiDB 高效入湖“新玩法” | TiLaker 团队访谈

数据湖是大数据领域近年来非常火热的技术，传统数仓无法实现增量数据的实时更新，也无法支持灵活的元数据格式，数据湖技术便在这一背景下诞生了。
·2022-02-15 16:46

数仓-概念的理解和方法论

数仓-概念的理解和方法论大数据相关概念什么是大数据大数据主要涉及的行业对数仓相关概念的初步理解数仓数据集市数据中台（数据仓库和数据中台区别）数据湖olap区别前置知识-分析、事实、维度、度量、指标、指标体系
zdkdchao·2022-02-11 11:16

数据库、数据仓库、数据湖、数据集市、数据中台这些概念，我终于整明白了

随着互联网的快速发展，越来越多的人涌进互联网，通过浏览器、智能终端、各种设备，产生了海量的数据，同时也产生了很多数据的概念，如数据库、数据仓库、数据湖、数据集市、数据中台等，这些概念相互交错，互相关联。
AI课工场·2022-02-10 20:21

嫌 OSS 查询太慢？看我们如何将速度提升 10 倍

在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于Hadoop生态的connector，但因为对象
JuiceFS·2022-02-09 16:43

Druid-高性能实时数据分析数据库

，主要思想来自OLAP/analyticdatabases,timerseriesdatabase,searchsystems在这个实时架构中；构建下一代数据栈原生集成了kafkaAWSKinesiS数据湖
93张先生·2022-02-06 18:45

人工智能

人工智能也必须连接并融合各个领域的知识和数据，成为数据湖，价格有更多的第三方公司提供数据服务。人工智能提高生产力的途径：1.使得重复流程自动化；2.通过数据分析预测发展趋势；3.
一个帅气的名字呀·2022-02-06 17:32

作业帮基于 DeltaLake 的数据湖建设最佳实践

本文主要分享了作业帮基于DeltaLake的数据湖建设最佳实践。
·2022-01-27 17:23

2022年 iuap 春季培训数据中台培训报道

产品融合数据湖、数据工场和智能分析等能力，整合底层产品架构，全数
·2022-01-27 11:15

作业帮基于 DeltaLake 的数据湖建设最佳实践

本文主要分享了作业帮基于DeltaLake的数据湖建设最佳实践。
阿里云云栖号·2022-01-27 09:00

嫌 OSS 查询太慢？看我们如何将速度提升 10 倍！

在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于Hadoop生态的connector，但因为对象
·2022-01-27 09:00

Flink CDC 系列 - 同步 MySQL 分库分表，构建 Iceberg 实时数据湖

作者：罗宇侠本篇教程将展示如何使用FlinkCDC构建实时数据湖，并处理分库分表合并同步的场景。
·2022-01-20 19:40

呼叫医生云！ Amazon HealthLake 正式推出

医疗保健和生命科学客户可以利用此服务将来自不同孤岛和不同格式的健康信息汇总到结构化的集中式亚马逊云科技数据湖，并通过分析和机器学习(ML)从这些数据中获取洞察。
·2022-01-14 18:30

如何构建智能湖仓架构？亚马逊工程师的代码实践来了

数据仓库的数据体系严格、治理容易，业务规模越大，ROI越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI越低，但胜在灵活。现在，鱼和熊掌我都想要，应该怎么办？
·2022-01-14 16:20

使用Amazon Redshift Simple Replay实用程序简化Amazon Redshift RA3迁移评估

AmazonRedshift是快速、广受欢迎的完全托管式云数据仓库，允许您使用标准AmazonSQL处理数据仓库、运营数据库和数据湖中的EB级数据。
·2022-01-14 16:17

使用 Simple Replay 实用程序简化 Amazon Redshift RA3 迁移评估

AmazonRedshift是快速、广受欢迎的完全托管式云数据仓库，允许您使用标准SQL处理数据仓库、运营数据库和数据湖中的EB级数据。
·2022-01-14 15:43

通用数据保护条例的监管下，你的数据湖“断舍离”了吗？

通用数据保护条例(GDPR)是当今技术世界中的重要法规，也是众多在亚马逊云科技公有云当中建立解决方案的用户们所必须遵循的数据处理要求。GDPR中提出一项“删除权”，或者叫“被遗忘权”条款，要求通过实施相关解决方案保证删除特定用户的个人数据。在亚马逊云科技大数据与分析生态系统的背景之下，每一套架构，无论其面向怎样的目标，都需要使用AmazonSimpleStorageService(AmazonS3
·2022-01-10 17:33
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他