数据湖

统一元数据，数据湖Catalog让大数据存算分离不再是问题

摘要：为了解决现阶段大数据存算分离痛点问题，华为云大数据推出重量级数据湖Catalog服务。本文分享自华为云社区《统一元数据，华为云MRS数据湖Catalog重磅推出!》
·2021-04-01 12:14

统一元数据，数据湖Catalog让大数据存算分离不再是问题

摘要：为了解决现阶段大数据存算分离痛点问题，华为云大数据推出重量级数据湖Catalog服务。本文分享自华为云社区《统一元数据，华为云MRS数据湖Catalog重磅推出!》
·2021-04-01 12:13

Hudi on Flink 快速上手指南

内容包括：背景环境准备Batch模式的读写Streaming读总结一、背景ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics[1]集成了Hudi服务高效的数据MERGE
·2021-04-01 12:05

Apache Flink Meetup · 上海站，超强数据湖干货等你！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主题，围绕湖仓一体架构实践、Iceberg
·2021-04-01 12:26

数据仓库如何实现湖仓一体数据分析？

简介：随着云计算的普及和数据分析需求的扩大，数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库，数据湖在成本、灵活性、多源数据分析等多方面，都有着非常明显的优势。
·2021-04-01 03:43

数据仓库如何实现湖仓一体数据分析？

简介：随着云计算的普及和数据分析需求的扩大，数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库，数据湖在成本、灵活性、多源数据分析等多方面，都有着非常明显的优势。
·2021-03-31 21:15

解读DLA SQL基于Alluxio的数据湖分析加速功能

在云原生数据湖分析（DLA）SQL引擎中，我们通过引入本地缓存机制，将热数据缓存在本地磁盘，拉近数据和计算的距离，减少从远端读取数据带来的延时和IO限制，实现更小的查询延
·2021-03-30 17:02

解读DLA SQL基于Alluxio的数据湖分析加速功能

在云原生数据湖分析（DLA）SQL引擎中，我们通过引入本地缓存机制，将热数据缓存在本地磁盘，拉近数据和计算的距离，减少从远端读取数据带来的延时和IO限制，实现更小的查询延
·2021-03-30 16:00

云原生数据湖分析DLA 2020年年度总结

简介：主要讲述阿里云数据湖分析DLA2020年的进展~一、概述2020年黑天鹅事件不断出现，疫情给人们的生活也带来了改变。
·2021-03-29 18:22

云原生数据湖分析DLA 2020年年度总结

简介：主要讲述阿里云数据湖分析DLA2020年的进展~一、概述2020年黑天鹅事件不断出现，疫情给人们的生活也带来了改变。
·2021-03-29 18:22

数据湖，已成为海量数据存储与分析的重要承载方式

数据的存储及应用体系是企业生态运转的中枢神经，数据湖已经成为海量数据存储与分析的重要承载方式。在汹涌而至的信息化浪潮下，大数据技术不断更新迭代，数据管理工具得到飞速发展，相关概念也随之而生。
·2021-03-29 12:41

到底什么是数据湖？全面解读数据湖的缘起、特征、技术、案例和趋势

正文开始本文有1.5万字，预计阅读30分钟，可以先收藏数据湖近几年迅速蹿红，今天笔者做一个综述，包括数据湖的缘起、数据湖的定义、数据湖的特征、数据湖的技术、数据湖的趋势和数据湖的案例六大部分，如果你要入门数据湖
傅一平·2021-03-29 07:00

Hudi on Flink 快速上手指南

内容包括：背景环境准备Batch模式的读写Streaming读总结Tips：点击文末「阅读原文」可查看更多技术干货～一、背景ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics
Apache Flink·2021-03-25 21:00

数据仓库如何实现湖仓一体数据分析？

简介：随着云计算的普及和数据分析需求的扩大，数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库，数据湖在成本、灵活性、多源数据分析等多方面，都有着非常明显的优势。
·2021-03-25 16:27

数据仓库如何实现湖仓一体数据分析？

简介：随着云计算的普及和数据分析需求的扩大，数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库，数据湖在成本、灵活性、多源数据分析等多方面，都有着非常明显的优势。
·2021-03-25 11:29

云+社区技术沙龙云原生技术专场，都有哪些趋势值得关注？

本次沙龙聚焦的是当前热门的技术话题--云原生技术，我们邀请到4位腾讯云原生领域专家，围绕大家比较关切的云原生数据湖、Serverless、云原生微服务、边缘计算等领域，分享前沿实践。
·2021-03-19 11:36

数据湖当立

前言前两天，我详细剖析了一下这两天脉脉上很火的数据建模帖子。指出来帖子里百度小哥“只见宽表不见建模”的核心原因是整个数据圈的核心逻辑变了。然后就引起了建模群里一帮人在疯狂吐槽。也有大厂的数仓大佬高屋建瓴，指点江山，侃侃而谈。为啥吐槽？因为我们知道，这再也不是以前数据至上、工程为先的俄罗斯方块游戏了，而是客户至上、业务为先的神庙逃亡游戏。但是绝大多数企业的数据仓库工程师，究竟还是沦落到拉宽表的境地。
·2021-03-19 00:00

数据批量上云方案

包括一直以来的数仓、数据湖、湖仓一体，其中的第一步都是数据汇集。
·2021-03-12 06:17

“七大属性加持，三个全新升级组件”这个高性能利器有点厉害

华为云智能数据湖MRS服务即将上线ClickHouse高性能引擎集群，用户只需要几分钟，就可以轻松方便地一键式完成集群部署搭建，快速拥有PB级数据的秒级交互查询分析能力，帮助用户带来极致的性能体验！
·2021-03-11 19:56

“七大属性加持，三个全新升级组件”这个高性能利器有点厉害

华为云智能数据湖MRS服务即将上线ClickHouse高性能引擎集群，用户只需要几分钟，就可以轻松方便地一键式完成集群部署搭建，快速拥有PB级数据的秒级交互查询分析能力，帮助用户带来极致的性能体验！
·2021-03-11 19:50

Delta Lake在Soul的应用实践

为了解决天级ETL逐渐尖锐的问题，所以这次我们选择了近来逐渐进入大家视野的数据湖架构，基于阿里云EMR的DeltaLake，我们进一步打造优化实时数仓结构，提升部分业务指标实时性，满足
·2021-03-09 22:43

Flink 如何实时分析 Iceberg 数据湖的 CDC 数据

简介：数据湖的架构中，CDC数据实时读写的方案和原理本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC数据实时读写的方案和原理。
阿里云开发者·2021-03-08 13:15

Kyuubi: 网易数帆开源的企业级数据湖管理平台（架构篇）

Kyuubi是网易数帆旗下易数大数据团队开源的一个企业级数据湖管理平台，建立在ApacheSpark之上。
NetEaseResearch·2021-03-04 20:43

Flink 如何实时分析 Iceberg 数据湖的 CDC 数据

简介：数据湖的架构中，CDC数据实时读写的方案和原理本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC数据实时读写的方案和原理。
·2021-02-26 10:54

Flink 如何实时分析 Iceberg 数据湖的 CDC 数据

简介：数据湖的架构中，CDC数据实时读写的方案和原理本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC数据实时读写的方案和原理。
·2021-02-26 09:00

Flink 如何实时分析 Iceberg 数据湖的 CDC 数据

主要介绍在数据湖的架构中，CDC数据实时读写的方案和原理。
Flink_China·2021-02-24 06:00

全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这
云 祁·2021-02-21 21:28

数据湖入门

qq_41822345/article/details/111902557学习资源来自https://www.bilibili.com/video/BV16y4y1C7Po文章目录课程目标前置技能一、数据湖概念
magic_kid_2010·2021-02-19 13:07

这篇文章解读数据仓库、数据湖、数据中台等概念，竟然写了4万字！

点击上方"zhisheng"关注,星标或置顶一起成长Flink从入门到精通系列文章如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(B
zhisheng_blog·2021-02-04 18:00

华为云FusionInsight助力宇宙行打造金融数据湖新标杆

摘要：工行采用了华为云FusionInsightMRS大数据存算分离方案，实现了大数据平台与OBS对象存储服务的对接，将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下，实现了计算与存储独立按需扩容，轻松应对业务浪涌，提升资源整体利用率。工商银行作为数字金融的领导者，践行“科技引领，创新赋能”的发展理念，持续提升工行金融服务实体经济的能力。工商银行和华为开展联创工作，引入了华为云Fusio
·2021-02-03 10:15

数据湖解决方案关键一环，IceBerg会不会脱颖而出？

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源小编在之前的详细讲解过关于数据湖的发展历程和现状，《我看好数据湖的未来，但不看好数据湖的现在》，在最后一部分中提到了当前数据湖的解决方案中，目前跳的最凶的三巨头包括
王知无-大数据技术与架构·2021-02-03 01:51

业务0中断：华为云助力工行打造金融数据湖新标杆

摘要：工行采用了华为云FusionInsightMRS大数据存算分离方案，实现了大数据平台与OBS对象存储服务的对接，将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下，实现了计算与存储独立按需扩容，轻松应对业务浪涌，提升资源整体利用率。工商银行作为数字金融的领导者，践行“科技引领，创新赋能”的发展理念，持续提升工行金融服务实体经济的能力。工商银行和华为开展联创工作，引入了华为云Fusio
华为云·2021-02-02 11:50

Flink + Iceberg 全场景实时数仓的建设实践

整理｜路培杰（Flink社区志愿者）摘要：ApacheFlink是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以Iceberg、Hudi、Delta为代表的解决方案应运而生
·2021-02-01 11:57

中英数据库专家谈：数据库的过去、未来和现在

数据库里的数据湖是什么？
阿里云开发者·2021-01-28 14:54

「直播实录」中英数据库专家谈：数据库的过去、未来和现在

数据库里的数据湖是什么？
阿里云云栖号·2021-01-28 10:49

「直播实录」中英数据库专家谈：数据库的过去、未来和现在

数据库里的数据湖是什么？
·2021-01-28 10:23

DLA SQL推出基于Alluxio的数据湖分析加速功能

在云原生数据湖分析（DLA）SQL引擎中，我们通过引入本地缓存机制，将热数据缓存在本地磁盘，拉近数据和计算的距离，减少从远端读取数据带来的延时和IO限制，实现更小的查询延
·2021-01-27 12:37

DLA SQL推出基于Alluxio的数据湖分析加速功能

在云原生数据湖分析（DLA）SQL引擎中，我们通过引入本地缓存机制，将热数据缓存在本地磁盘，拉近数据和计算的距离，减少从远端读取数据带来的延时和IO限制，实现更小的查询延
·2021-01-27 12:37

Apache Flink 在实时金融数据湖的应用

简介：本文由京东搜索算法架构团队分享，主要介绍ApacheFlink在京东商品搜索排序在线学习中的应用实践一、背景在京东的商品搜索排序中，经常会遇到搜索结果多样性不足导致系统非最优解的问题。为了解决数据马太效应带来的模型商品排序多样性的不足，我们利用基于二项式汤普森采样建模，但是该算法仍存在对所有用户采用一致的策略，未有效考虑用户和商品的个性化信息。基于该现状，我们采取在线学习，使深度学习和汤普森
·2021-01-27 11:54

Apache Flink 在实时金融数据湖的应用

简介：本文由京东搜索算法架构团队分享，主要介绍ApacheFlink在京东商品搜索排序在线学习中的应用实践一、背景在京东的商品搜索排序中，经常会遇到搜索结果多样性不足导致系统非最优解的问题。为了解决数据马太效应带来的模型商品排序多样性的不足，我们利用基于二项式汤普森采样建模，但是该算法仍存在对所有用户采用一致的策略，未有效考虑用户和商品的个性化信息。基于该现状，我们采取在线学习，使深度学习和汤普森
·2021-01-26 14:42

数据湖架构--Iceberg

和Hudi类似，Iceberg也提供了数据湖的功能，根据官网的定义，它是一个为分析大数据集开源的表存储格式，可以SQL表一样用Spark、Preso进行查询。
hawk2014bj·2021-01-24 15:33

数禾云上数据湖最佳实践

简介：数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的ClouderaHadoop集群。但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个ClouderaHadoop集群的能力。为了减轻Cloudera集群的压力，我们结合自身业务情况，在阿里云上落地一个
·2021-01-21 16:35

数禾云上数据湖最佳实践

简介：数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的ClouderaHadoop集群。但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个ClouderaHadoop集群的能力。为了减轻Cloudera集群的压力，我们结合自身业务情况，在阿里云上落地一个
·2021-01-21 15:04

数禾云上数据湖最佳实践

简介：数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的ClouderaHadoop集群。但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个ClouderaHadoop集群的能力。为了减轻Cloudera集群的压力，我们结合自身业务情况，在阿里云上落地一个
阿里云云栖号·2021-01-21 14:40

2020年数据术语的故事

新感念层出不穷，数据湖概念就是其中之一。这篇文章是关于数据仓库、数据湖、数据集市、数据中台等一些列的概念和发展进程。希望给大家带来一个全面的感知。
王知无(import_bigdata)·2021-01-21 00:00

Apache Flink 在实时金融数据湖的应用

作者｜白学余本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。
ApacheFlink·2021-01-20 12:41

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介：为了消灭数据孤岛，企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程，期间遇到的挑战，以及delta在数据接入中产生的价值。
阿里云云栖号·2021-01-20 12:33

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介：为了消灭数据孤岛，企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程，期间遇到的挑战，以及delta在数据接入中产生的价值。
阿里云云栖号·2021-01-20 12:33

Apache Flink 在实时金融数据湖的应用

作者｜白学余本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。
ApacheFlink·2021-01-20 11:28

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介：为了消灭数据孤岛，企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程，期间遇到的挑战，以及delta在数据接入中产生的价值。
阿里云云栖号·2021-01-20 10:26
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他