数据湖

详解阿里云数据中台，一篇文章全面了解大数据“网红”

文章目录前言数据中台的定义数据中台顶层设计数据中台与传统数据仓库差异传统的数仓采用集数据中台与数据湖区别数据中台所面临的挑战前言数据中台的概念是最早由阿里巴巴首次提出，是为了应对内部众多业务部门千变万化的数据需求和高速时效性的要求而成长起来的
云 祁·2020-06-21 17:33

初探数据湖（Data Lake），到底有什么用？让我们来一窥究竟...

文章目录一、前言二、现代数据架构三、数据湖架构参考数据湖架构-流程数据湖架构-集成企业数据湖架构数据湖最核心的能力四、数据湖的作用1、数据集成能力（数据接入）2、数据存储3、数据搜索4、数据治理5、数据质量
云 祁·2020-06-21 17:33

数据仓库、数据湖、数据中台基础概念与对比

智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖
BabyFish13·2020-06-21 17:57

什么是数据湖？有什么用？终于有人讲明白了……

导读：数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始，企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。
大数据v·2020-06-21 15:03

什么是数据湖？有什么用？终于有人讲明白了……

作者|汤姆斯·约翰、潘卡·米斯拉来源|出自《企业数据湖》一书转自|大数据（ID：hzdashuju）导读：数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。
数智物语·2020-06-21 14:21

Apache Hudi：云数据湖解决方案

1.引入开源ApacheHudi项目为Uber等大型组织提供流处理能力，每天可处理数据湖上的数十亿条记录。随着世界各地的组织采用该技术，Apache开源数据湖项目已经日渐成熟。
leesf·2020-06-21 12:00

实践篇 | 构建下一代云上数据湖，助力车企数字化转型

在数据湖上如何构建？Ky
Kyligence·2020-06-21 12:06

Python爬取新冠肺炎疫情实时数据(腾讯)

文章目录前言代码导入模块抓取数据获取中国当日实时数据获取中国历史数据及每日新增数据获取中国历史数据及每日新增数据湖北与非湖北历史数据、每日新增数据获取武汉与非武汉每日新增数据全球实时数据及历史数据获取全球各地区实时数据获取全球历史数据
菜鸟vdrere·2020-06-21 09:27

[AI工程论]数据中心VS数据湖VS数据仓库

关注：决策智能与机器学习，深耕AI脱水干货作者/Goasduff来源|Garnter翻译整理/九三山人数据中心（Datahubs）、数据湖（datalakes）和数据仓库（datawarehouses）
九三智能控v·2020-06-21 09:00

关于数据中台、数据平台、数据仓库、数据湖等数据概念的对比解析

如今，十年风云际会，大数据早已成了行业绕不开的话题，这其中我们或多或少会接触到很多新兴的概念，例如数据湖、数据中台等，通过一些碎片化的学习，也是大概知道这
lvxiao9856·2020-06-21 08:06

独家 | 关于数据湖架构、战略和分析的8大错误认知（附链接）

本文打破有关数据湖的8个错误认知，错误认知包括3方面，还提出了5个小技巧，以构建一个灵活的、可交付业务价值的数据湖。本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。
数据派THU·2020-06-21 08:53

UCloud叶理灯：内外部容器云平台构建的思考！

尤其是USQL数据湖分析工具、StepFlow工作流服务两款产品更是牢牢抓住了与会者们的眼球，充分印证了一点：在热门的Serverless领域，UCloud也是探索许久、厚积薄发。
科技星象·2020-06-21 07:02

你一定要知道的分布式架构演化史｜干货满满

随着新基建的提出，大数据中心，数据湖的概念也越来越热。那么分布式架构作为这一切技术的核心点，它又是如何演化而来的呢？下面就让我们一起追本溯源，从
且听_风吟·2020-06-21 04:22

数据湖&数据仓库，别再傻傻分不清了

摘要：什么是数据湖？它有什么作用？今天将由华为云技术专家从理论出发，将问题抽丝剥茧，从技术维度娓娓道来。
华为云开发者社区·2020-06-21 02:10

周末直播|Flink、Hologres、AI等热门话题全都安排！

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-06-21 02:25

大牛书单 | 大数据存储方向好书分享

TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高级工程师王银虎，腾讯TEG计费平台部账户中心专家工程师潘安群为大家带来大数据方向好书推荐
腾讯技术工程·2020-06-20 23:39

Garnter:自建大数据安全分析平台恐失败

文章讲的是Garnter:自建大数据安全分析平台恐失败，就在2017年4月11日，Gartner的著名分析师AntonChuvakin在其Gartner官方博客上称“企业和组织如果打算自建安全数据湖或者定制自己的大数据安全分工具的话
weixin_34370347·2020-06-20 21:48

Gartner：自建大数据安全分析平台恐难逃失败厄运！

就在2017年4月11日，Gartner的著名分析师AntonChuvakin在其Gartner官方博客上称“企业和组织如果打算自建安全数据湖或者定制自己的大数据安全分工具的话，那么基本上肯定会失败”！
weixin_34252090·2020-06-20 21:13

微软收购 ADRM 软件，通过行业数据模型增强 Azure

微软表示，计划将这些模型与Azure的存储和计算结合起来，以支持创建数据湖，将来自多个业务领域的信息按比例整理在
芒果果·2020-06-20 21:08

【华为云技术分享】数据湖&数据库，别再傻傻分不清了

什么是数据湖如果需要给数据湖下一个定义，可以定义为这样：数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。
华为云·2020-06-20 20:39

大数据篇：一文读懂@数据仓库

智慧城市、智慧社会企业层面的：数字互联网，数字经济、数字平台、数字城市、数字政府；平台层面的：物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱技术层面的：数据仓库、数据集市、大数据平台、数据湖
咘雷扎克·2020-06-17 15:00

数据湖&数据仓库，别再傻傻分不清了

摘要：什么是数据湖？它有什么作用？今天将由华为云技术专家从理论出发，将问题抽丝剥茧，从技术维度娓娓道来。
华为云开发者社区·2020-06-15 11:00

使用Apache Spark和Apache Hudi构建分析数据湖

1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。
leesf·2020-06-15 09:00

使用Apache Spark和Apache Hudi构建分析数据湖

1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。
leesf·2020-06-15 09:00

数智时代基石，阿里云推出新一代云原生数据仓库与数据湖

6月9日，在2020阿里云峰会上，阿里巴巴副总裁、阿里云计算平台事业部高级研究员贾扬清宣布推出新一代云原生数据仓库和数据湖解决方案。
我是代码派·2020-06-11 09:30

Uber基于Apache Hudi构建PB级数据湖实践

1.引言从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。2016年，Uber开发了增量处理框架ApacheHudi，以低延迟和高效率为关键业务数据管道赋能。一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了ApacheSoftwareFoun
leesf·2020-06-11 09:00

Uber基于Apache Hudi构建PB级数据湖实践

1.引言从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。2016年，Uber开发了增量处理框架ApacheHudi，以低延迟和高效率为关键业务数据管道赋能。一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了ApacheSoftwareFoun
leesf·2020-06-11 09:00

数据湖 | 一文读懂Data Lake的概念、特征、架构与案例

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。
大数据技术架构·2020-06-07 13:11

“数据湖”：概念、特征、架构与案例

写在前面：最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？阿里云有没有成熟的数据湖解决方案？阿里云的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？
阿里云云栖号·2020-06-06 07:19

这场大数据+AI Meetup，一次性安排了大数据当下热门话题

也因此，大数据计算引擎、AI、数据仓库、数据湖等成为当前无可争议的热门话题。当前大数据计算引擎各有千秋，如何选择适合自己的？数据仓库、数据湖、HSAP架构，它们究竟能解决什么问题？
阿里云hologres·2020-05-31 14:47

Hive 集成 Hudi 实践（含代码）| 可能是全网最详细的数据湖系列

公众号后台越来越多人问关于数据湖相关的内容，看来大家对新技术还是很感兴趣的。
老蒙大数据·2020-05-28 09:00

Apache Hudi典型应用场景知多少？

1.近实时摄取将数据从外部源如事件日志、数据库提取到Hadoop数据湖中是一个很常见的问题。在大多数Hadoop部署中，一般使用混合提取工具并以零散的方式解决该问题，尽管这些数据对组织是非常有价值的。
leesf·2020-05-19 18:00

Apache Hudi典型应用场景知多少？

1.近实时摄取将数据从外部源如事件日志、数据库提取到Hadoop数据湖中是一个很常见的问题。在大多数Hadoop部署中，一般使用混合提取工具并以零散的方式解决该问题，尽管这些数据对组织是非常有价值的。
leesf·2020-05-19 18:00

30人团队的数据架构师：谈谈数据湖这个风口吧，你们说的都没价值

数据湖，是可以容纳大量的原始数据的存储库和处理系统，已经成为企业应用大数据的重要工具。数据湖可以更好地加速从数据到价值的过程，打造相应业务能力。
帆软商业智能技术·2020-05-19 10:49

Apache Hudi又双叕被国内顶级云服务提供商集成了！

是的，最近国内云服务提供商腾讯云在其EMR-V2.2.0版本中优先集成了Hudi0.5.1版本作为其云上的数据湖解决方案对外提供服务ApacheHudi在HDFS的数据集上提供了插入更新和增量拉取的流原语
leesf·2020-05-09 13:00

Apache Hudi又双叕被国内顶级云服务提供商集成了！

是的，最近国内云服务提供商腾讯云在其EMR-V2.2.0版本中优先集成了Hudi0.5.1版本作为其云上的数据湖解决方案对外提供服务ApacheHudi在HDFS的数据集上提供了插入更新和增量拉取的流原语
leesf·2020-05-09 13:00

实战 | 将Apache Hudi数据集写入阿里云OSS

1.引入云上对象存储的廉价让不少公司将其作为主要的存储方案，而Hudi作为数据湖解决方案，支持对象存储也是必不可少。之前AWSEMR已经内置集成Hudi，也意味着可以在S3上无缝使用Hudi。
leesf·2020-04-25 14:00

实战 | 将Apache Hudi数据集写入阿里云OSS

1.引入云上对象存储的廉价让不少公司将其作为主要的存储方案，而Hudi作为数据湖解决方案，支持对象存储也是必不可少。之前AWSEMR已经内置集成Hudi，也意味着可以在S3上无缝使用Hudi。
leesf·2020-04-25 14:00

Apache Hudi的写时复制和读时合并

Hudi可以帮助你构建高效的数据湖，解决一些最复杂的底层存储管理问题，同时将数据更快地交给数据分析师，工程师和科学家。Hudi不是什么Hudi不是
21aspnet·2020-04-22 18:41

Apache Hudi 设计与架构最强解读

1.简介ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
leesf·2020-04-16 05:00

Apache Hudi 设计与架构最强解读

1.简介ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
leesf·2020-04-16 05:00

数据湖正在成为新的数据仓库

像公有云数据湖和DeltaLake这样的平台指出了一个中央数据枢纽的趋势，用来支持决策和AI驱动的自动化决策。数据仓库是否再次加入这股浪潮呢，或者会逐渐消亡？如果你不清楚这个问题的答案也很正常。
阿里云云栖号·2020-04-10 19:39

数据湖十年风雨路，云服务商缘何脱颖而出

数据湖，是一个并不新颖却越来越被用户看重的名词。
大数据在线·2020-04-08 21:12

数据湖详解

什么是数据湖？维基上对它的解释：数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。
歌湾汐云·2020-04-04 06:49

iuap5.0简单观后感

iuap5.0包括技术中台（开发者中心），数据中台（数据湖），业务中台，低代码开发平台，集成平台；其中开发者中心经过全友双十一，中广核，三一重工等案例，运行900多天，基于最新版本的k8s，docker
胡鹏_242e·2020-03-26 15:30

大数据三分钟不入门之三：海纳百川Data Warehouse 与 Data Lake

如果你已经读完前两篇的话，那么不妨再继续聊聊数据仓库(DataWarehouse)和数据湖(DataLake)。有一个严肃的问题，大数据存储和计算分析是为了啥?只是为了单纯的炫技?
北美枫叶·2020-03-26 02:21

你知道什么是数据湖吗？数据湖正在成为新的数据仓库

像公有云数据湖和DeltaLake这样的平台指出了一个中央数据枢纽的趋势，用来支持决策和AI驱动的自动化决策。数据仓库是否再次加入这股浪潮呢，或者会逐渐消亡？如果你不清楚这个问题的答案也很正常。
yoku酱·2020-03-25 11:38

数据仓库快速入门教程15数据湖vs数据仓库

数据湖是一个存储库，可以存储大量结构化，半结构化和非结构化数据。它是以原生格式存储每种类型数据的地方，对帐户大小或文件没有固定限制。它提供高数
python测试开发_AI命理·2020-03-24 10:01

什么是数据湖？有什么用？终于有人讲明白了……

导读：数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始，企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。
商助科技·2020-03-24 07:24

Delta Lake简介

workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间提供一致性的读取，从而为构建在HDFS和云存储上的数据湖
Lynn_Yuan·2020-03-05 09:13
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他