数据湖

这场大数据+AI Meetup，一次性安排了大数据当下热门话题

也因此，大数据计算引擎、AI、数据仓库、数据湖等成为当前无可争议的热门话题。当前大数据计算引擎各有千秋，如何选择适合自己的？数据仓库、数据湖、HSAP架构，它们究竟能解决什么问题？
Ververica·2020-06-29 14:18

“数据湖”：概念、特征、架构与案例

写在前面：最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？阿里云有没有成熟的数据湖解决方案？阿里云的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？
阿里云技术·2020-06-29 11:16

浅谈一个新人的大数据之路

CCCCCold丶大数据之禅第一章，大数据之路浅谈数仓&数据集市&数据湖数据模型模型ETL频率：模型存储技术：模型数据分层：模型架构分层：模型主题域：模型创建类型：模型存储类型：模型压缩算法：队列：节点
Cold丶kl·2020-06-29 06:31

大数据的五种基本的架构整理

原始数据进过数据拉取然后通过流式处理进行ETL和数据处理然后落地到本地或直接提供服务在传统大数据架构的基础上流式架构非常的激进直接拔掉了批处理虽然有存储部分但是该存储更多的是以窗口的形式进行存储的,并非是发生在数据湖
尹舟 尹舟·2020-06-29 04:53

数据湖+数据仓库

6年前，福布斯的一篇文章《BigDataRequiresabignewArchitecture》提出数据湖（DataLake）的概念，数据湖被定义为一种区别于原始数据仓库的数据存储架构，以原生格式保存大量的原始数据
blank_downdowndown·2020-06-29 01:29

直播 | Apache Kylin × Apache Hudi Meetup

Meetup由ApacheKylin与ApacheHudi社区联合举办，将于3月14日晚进行直播，邀请到来自丁香园、腾讯、柯林布瑞以及Kyligence等公司的技术专家，为大家呈现Kylin与「由Uber开源的数据湖项目
Kyligence·2020-06-28 21:42

奈学：数据湖有哪些缺点？

数据湖本身是一个中心化的存储，能够存储任意规模的结构化与非结构化数据。数据湖相比数据仓库有很多的优势，但大多是在理想状态下的，一旦执行起来还有很多技术挑战。（一）数据湖的数据可能并不会真正做到实时。
zsfz_053·2020-06-28 19:49

奈学：数据湖和数据仓库的区别有哪些？

储存方面：数据湖中数据为非结构化的，所有数据都保持原始形式；存储所有数据，并且仅在分析时再进行转换。数据仓库就是数据通常从事务系统中提取，在将数据加载到数据仓库之前，会对数据进行清理与转换。
zsfz_053·2020-06-28 18:05

关于大数据的五大陷阱

成功利用大数据已成为众多企业的关键要素，其中包括制定平台战略，无论它是“数据中心”，还是“数据平台”亦或是“数据湖”。
weixin_33755847·2020-06-28 04:33

使用Apache Hudi构建大规模、事务性数据湖

HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等
leesf·2020-06-27 21:00

使用Apache Hudi构建大规模、事务性数据湖

HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等
leesf·2020-06-27 21:00

大数据湖，挖掘企业全量数据价值

数据湖背景“数据湖”概念是在2010年首次提出，他将数据湖比喻成未经处理和包装的原生状态水库，当不同源头的水体源源不断流入数据湖，并为企业带来各种分析、探索的可能性。
戏-子·2020-06-27 08:02

数据湖(Data Lake)-剑指下一代数据仓库

数据湖是数据仓库的补充,是为了解决数据仓库漫长的开发周期，高昂的开发、维护成本，细节数据丢失等问题出现的。
大数据技术与架构·2020-06-27 06:15

数据仓库、数据湖、流批一体，终于有大神讲清楚了！

作者：蒋晓伟（量仔）阿里云研究员金晓军(仙隐)阿里云高级技术专家摘要数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？
大数据技术架构·2020-06-27 01:45

使用Apache Spark和Apache Hudi构建分析数据湖

1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。
大数据技术架构·2020-06-27 01:45

数据湖(Data Lake)前世今生解析(上)

IsilonSystems完善EMC在分布式Scale-Out架构NAS技术方面的不足，近几年isilon在媒资、大数据和HPC场景得到客户的一致认可，也在去年和另外一个产品线PovitalHadoop推出了数据湖解决方案
Hardy晗狄·2020-06-26 16:43

物联网在工业企业的应用与实践 (3) AWS物联网解决方案

云计算能够为工业企业带来如下价值：优化生产：利用数据湖和机器学习/人工智能实时识别出生产流程可优化的方面。通过实时和预测分析。这提高整体设备效率（OEE），服务水平，产品质量
Steel Ren·2020-06-26 14:25

春日游湖不易，但居家聊聊数据湖还是可以的……

其实“数据湖”的概念由来已久，如果追溯时间大概可以到2011年。
科技星象·2020-06-26 07:14

数据湖，大数据的下一个变革

让数据产生价值才叫成功。早期有不少的公司引入了Hadoop，将企业的各种结构化非结构化数据加载至Hadoo…让数据产生价值才叫成功。早期有不少的公司引入了Hadoop，将企业的各种结构化非结构化数据加载至Hadoop环境当中，想让自己的数据发挥更大的价值，但这并不容易。2016年，Gartner公司估计有60%的大数据项目遭遇失败。一年之后，他们表示60%的估计太过保守，这个数字应该是85%。大数
qunqun8889·2020-06-26 04:48

【华为云-上云之路】网络AI模型开发（2）数据入湖、数据处理

目录数据入湖数据处理数据入湖简介我们在华为云NAIE开通“数据资产管理服务”后，把数据上传到数据湖OBS中。其中数据可以从本地文件、租户OBS、数据湖OBS、HIVE、DWS等方式上传。
一颗小树x·2020-06-25 19:39

玩转云上数据湖，解析Serverless 技术落地

导读：本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。
华为云开发者社区·2020-06-24 18:55

思考：真正的分布式数据库是否让“数据湖”概念成为历史？

原文地址：http://www.fromgeek.com/ai/15...最近吴宁川一篇《厉害了，蚂蚁金服！创造了中国自己的数据库OceanBase》报道了OceanBase诞生的前因后果。内容非常详实，值得分享。同时自己也分享几点杂想：第一，杀熟不仅仅是大数据时代的产物之前从某网平台爆出的订购酒店或者是约车出行的杀熟案例。说明大数据时代我们每个人都处于一个小白，随时宰割的状态。其实这种现象在各个
SequoiaDB巨杉数据库·2020-06-24 18:41

一分钟看懂数据湖架构

一分钟看懂数据湖架构数据湖和数据仓库两者都广泛应用于大数据存储，但两者之间概念不可互换。数据湖是存储原始数据的池，目的仍没有明确。数据仓库存储结构化的、已过滤、处理的数据，用于特定分析目的。
neweastsun·2020-06-24 17:46

玩转云上数据湖，解析Serverless 技术落地

本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。
艾弗森哇·2020-06-24 16:07

数据仓库、数据湖、数据集市、和数据中台的故事

数据仓库、数据湖、数据集市、和数据中台的故事如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。
Murkey学习之旅·2020-06-24 16:46

玩转云上数据湖，解析Serverless 技术落地

本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。
艾弗森哇·2020-06-24 11:53

关于数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结

注：本文于2019年1月31日发表于微信公众号谈数据（learning-bigdata），本公众号将于4月21日发布一篇关于《数据治理之元数据管理》的文章，有兴趣可以扫描下方二维码关注。在和一些客户、同事聊数据的时候，发现好多人对于数据相关的一些概念、作用并不是很清楚。这里我针对自己工作接触和学习积累的一些内容给大家做一个总结和分享。如有偏颇，请斧正！1、数据元1.1标准定义[GB/T18391.
谈数据·2020-06-24 01:39

谈数据解读：AWS数据湖

一、认识数据湖1、初识数据湖Datalake，我第一次接触这个概念，是在2014年IBM组织的数据治理交流论坛上。
谈数据·2020-06-24 01:38

一篇文章搞懂 数据海洋 数据湖 数据池 数据水坑 数据孤岛 数据仓库 基本概念

数据湖由数据驱动的决策非常流行。从数据科学，机器学习和高级分析到实时仪表板，决策者都需要数据来帮助做出决策。该数据需要一个家，而数据湖是创建该家的首选解决方案。
开心自由天使·2020-06-23 13:52

数据仓库、数据湖、数据中台

转自：https://mp.weixin.qq.com/s?src=11×tamp=1585712786&ver=2251&signature=0XE6r3rbsjkFRf6qTlDf31qvSzTYagOPTtd9aRrPX9-ixkWm7cOssF-05lFdVH3Hje6ZxrCRKyf5GPhm8FX954D6sgnWCSAvOfE2vSRNYmgCOwWCqzRszaDK6Ym
深圳gg·2020-06-23 11:40

玩转云上数据湖，解析Serverless 技术落地

导读：本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。
华为云开发者社区·2020-06-23 10:00

数据中台

背景与适用场景数据中台架构核心组成底座是数据基础平台数据采集平台数据计算平台数据存储平台中间两大块中台负责把模型组织成可以对外服务的数据：数据指标，数据标签公共数据区数据仓库（数据湖），负责公共数据模型研发
github_28583061·2020-06-23 10:41

微服务 OLAP 大数据中台架构演进

数据仓库、数据湖、流批一体，终于有大神讲清楚了存储层：HadoophdfsElasticsearchRediskafka计算层：Hive离线批处理Spark实时计算统一批计算和实时计算Flink基于ApacheFlink
fengzhaoy·2020-06-23 09:29

数据仓库、数据湖、流批一体，终于有大神讲清楚了！

正文开始摘要数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓
fuyipingwml1976124·2020-06-23 09:11

数据湖这个大坑，是怎么挖的？

这是第❹篇神扯：说个神秘的概念——数据湖。从前，数据少的时候，人们拿脑子记就可以了，大不了采用结绳记事：后来，为了更有效率的记事和工作，数据库出现了。数据库核心是满足快速的增删改查，
fuyipingwml1976124·2020-06-23 09:38

数据湖十年风雨路，云服务商缘何脱颖而出

数据湖，是一个并不新颖却越来越被用户看重的名词。
大数据在线·2020-06-23 05:04

8个你最想知道的数据中台问题，我们这次聊个透

问题二：数据中台、数据仓库、数据平台、数据湖有何区别？问题三：数据中台只是一种技术吗？问题四：究竟什么样的企业更适合做数据中台？问题五：数据不多的企业能不能做数据中台？
大数据研习社·2020-06-23 02:00

如何对历史数据和实时数据进行实时分析

物联网平台提取、处理和分析数据后，将其存储在数据湖（也称为运营数据存
cxq8989·2020-06-23 02:09

Snowflake：数据仓库在云中变得更好

数据仓库与数据湖之间的区别在于，数据湖以其自然格式存储数据，通常是blob或文件，而数据仓库则将数据存储为数据库。Snowflake简述Snowflake是完全为云建立
cxq8989·2020-06-23 02:08

漫谈“数据湖”之价值与架构

一、数据湖概念的提出数据湖这一概念，最早是在2011年由CITOResearch网站的CTO和作家DanWoods首次提出。
congpin7333·2020-06-23 00:08

关于大数据的五大陷阱

成功利用大数据已成为众多企业的关键要素，其中包括制定平台战略，无论它是“数据中心”，还是“数据平台”亦或是“数据湖”。
cheyan5318·2020-06-22 22:57

认识 Delta Lake

但是到19年整个局势开发生变化，向下走是存储层DeltaLake耀眼夺目，解决了原先数仓的诸多痛点，让数仓进化到数据湖。向上走是交互应用层
祝威廉·2020-06-22 13:41

数据仓库、数据湖、流批一体，终于有大神讲清楚了！

数据仓库、数据湖、流批一体，终于有大神讲清楚了！作者：蒋晓伟（量仔）阿里云研究员金晓军(仙隐)阿里云高级技术专家摘要：数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？
aliyunhologres·2020-06-22 13:53

[转]关于数据中台、数据平台、数据仓库、数据湖等数据概念的对比解析

如今，十年风云际会，大数据早已成了行业绕不开的话题，这其中我们或多或少会接触到很多新兴的概念，例如数据湖、数据中台等，通过一些碎片化的学习，也是大概知道这
JackieZhengChina·2020-06-22 12:08

十年之后，再看数据湖

今天，因为数据湖的出现，这一解决方案再也不是假如，这一“魔法”也真正可以被企业使用。新鲜又不新鲜的数据湖从1956年夏季，以麦卡赛、明斯基、罗切斯特和申农
Z1Y492Vn3ZYD9et3B06·2020-06-22 09:12

一文了解数据护湖架构

什么是数据湖引擎数据湖引擎是一种开源软件解决方案或云服务，它通过一组统一的api和数据模型为分析工作负载的各种数据源提供关键功能。
数据社·2020-06-22 08:07

Data Lake与数据仓库

数据湖和数据仓库是业务分析的关键技术，但两者之间的差异可能会令人困惑。他们有什么不同？比另一个更稳定吗？哪一个最能帮助您的业务？本文旨在揭开这两个系统的神秘面纱来处理您的数据。什么是数据湖？
Tybyqi·2020-06-22 07:36

SpringBoot 2.2.0整合腾讯云对象存储实现文件上传

腾讯云COS的存储桶空间无容量上限，无需分区管理，适用于CDN数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。COS提供网页端管理界面、多种
Farewell is well·2020-06-22 04:44

一文总结BI、数据仓库、数据湖和数据中台内涵与差异

数据工匠俱乐部（id：zgsjgjjlb）前言随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖
Pysamlam·2020-06-22 03:26

pyspark读写S3文件与简单处理（指定Schema，直接写S3或先本地再上传）

概述随着AWS的流行，越来越多的企业将数据存储在S3上构建数据湖，本文示例如何用PySpark读取S3上的数据，并用结构化API处理与展示，最后简单并讨论直接写到S3与先写到本地再上传到S3的性能对比。
詩和遠方·2020-06-21 17:12
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他