数据湖

数据分析师应该了解的数据湖

数据湖数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。
数据社·2020-08-18 10:12

【2020中国华录杯】吸烟打电话检测Baseline

2020中国华录杯·数据湖算法大赛—定向算法赛（吸烟打电话检测）!pipinstallpaddlex!
Memory逆光·2020-08-17 17:17

Hadoop Ozone如何巧妙利用Multi-Raft机制优化数据节点吞吐量

2019年年中，腾讯大数据团队开始上线Ozone集群承接大数据存储业务，数据湖小组也全力投入了HadoopOzone的开源项目中。在与HadoopOzone社区和Cloudera深度合作后
大数据星球-浪尖·2020-08-16 14:04

阿里数据中台大火，国外却在建设数据湖，这两者什么关系？

不知道大家有没有发现，这几年的数据领域有好多的概念，例如：大数据、人工智能、物联网、边缘计算、数据治理、数据湖、数据中台、数据可视化……。这说明数据这个领域真的很“火”，可谓是“百花齐放”！
Leo.yuan·2020-08-14 22:27

数据平台、大数据平台、数据中台……傻傻分不清？这次终于有人讲明白了……

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
CSDN资讯·2020-08-14 17:38

数据平台、大数据平台、数据中台……还分的清不？

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
华为云·2020-08-14 00:35

数据平台、大数据平台、数据中台……你确定能分得清吗？

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
华为云开发者社区·2020-08-13 19:22

数据平台、大数据平台、数据中台……你确定能分得清吗？

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
华为云开发者社区·2020-08-13 19:00

Pravega架构小结

架构开源分布式流存储服务本质是在计算引擎与底层存储间充当解耦层，旨在解决新一代大数据平台在数据存储层上的挑战1、数据湖Pravega提供的Stream原语可以避免现有大数据架构中原始数据在多个开源存储搜索产品中移动而产生的数据冗余现象
码以致用·2020-08-13 10:00

数智时代新基石，贾扬清重磅发布新一代云原生数据仓库与数据湖

6月9日，在2020阿里云峰会上，阿里巴巴副总裁、阿里云计算平台事业部高级研究员贾扬清宣布推出新一代云原生数据仓库和数据湖解决方案。
阿里云hologres·2020-08-12 21:23

DLA实现跨地域、跨实例的多AnalyticDB读写访问

介绍实时数据仓库ADB（AnalyticDB）云产品：https://www.aliyun.com/produc...数据湖分析服务DLA（DataLakeAnalytics）云产品：https://www.aliyun.com
weixin_33758863·2020-08-12 10:09

Apache Hudi表自动同步至阿里云数据湖分析DLA

Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块hudi-hive-sync进行了抽象改造，以支持将Hudi表同步到其他类型MetaStore中，如阿里云的数据湖分析
leesf·2020-08-10 19:00

数据中台演进之AI中台

于是各个企业分别形成数据团队或者数据部分开始继续数据整顿工作，数据仓库，数据湖
zhangkf2013·2020-08-10 01:41

USQL如何帮爱普新媒降低80%成本，提升50%数据分析速度

数据湖分析（USQL）是一种可扩展性强、成本低廉的无服务器S
weixin_34120274·2020-08-07 09:51

Apache Hudi 设计与架构最强解读

1.简介ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
吃鱼的羊·2020-08-05 21:45

数据湖到底是什么湖？

数据作为一项重要资产，已经成为企业的共识，为了更好地存储数据、挖掘数据，企业需要：一个超级大的存储库，对数据进行长期的原样的存储;能够对这些数据高效地管理与集中治理;需要强大的计算能力满足数据处理需求。假设有这样一种解决方案：在一种技术的支持下，企业在快速实现企业中各类的数据集成的同时，也能轻松获取企业外部数据，打通产业链上下游数据，实现生态化数据整合，实现全貌数据分析。同时，数据存储量大，支持批
小几斤·2020-08-04 19:43

【时间之外】我把恒生杂志也数字化了

重要内容记录数据湖：一个以原始格式存储数据的存储库或系统。数字化转型：IT在整个金融行业的发展过程中，主要作用是赋能业务，帮助企业降本增效。现在大家说的数字化转型，更多是在说对商业模式的重构。
运维警报·2020-08-03 00:44

如何在阿里云上使用Data Lake Analytics分析Table Store数据

0.DataLakeAnalytics（简称DLA）介绍数据湖（DataLake）是时下热门的概念，更多阅读可以参考：https://en.wikipedia.org/wiki/Data_lake基于数据湖
weixin_34314962·2020-08-02 21:25

【华为云技术分享】DLI跨源｜当DLI遇见MongoDB

导语：MongoDB作为灵活高效易扩展的no-schema数据库，越来越受到互联网公司、游戏行业等开发者的青睐，但是MongoDB有着独特的语言接口，并不能很好满足数据分析师构建数据治理应用的需求，而数据湖探索
华为云开发者社区·2020-08-01 11:37

中台，很多人理解的都不对

简介：最近中台比较热，但业界内并没有对中台有统一认可清晰的定义，很多人会把中台与数据仓库、数据湖混为一谈。但需要提醒读者注意的是，数据中台并不是一个系统，它首先是一种组织架构。
阿里云技术·2020-08-01 06:56

[技术分享]【DLI跨源】当DLI遇见MongoDB

导语：MongoDB作为灵活高效易扩展的no-schema数据库，越来越受到互联网公司、游戏行业等开发者的青睐，但是MongoDB有着独特的语言接口，并不能很好满足数据分析师构建数据治理应用的需求，而数据湖探索
华为云·2020-07-31 17:58

防止数据湖变成“沼泽”的四个基本步骤

尽管数据湖有很大的前景，但由于缺乏治理能力和较为成功的先例，近年来，数据湖收到了很多负面评论。企业管理者和技术人员一直期待着数据湖能为企业创造更大价值，但结果却令人失望。
cuizhu6079·2020-07-31 16:42

【华为云技术分享】DLI跨源｜当DLI遇见MongoDB

导语：MongoDB作为灵活高效易扩展的no-schema数据库，越来越受到互联网公司、游戏行业等开发者的青睐，但是MongoDB有着独特的语言接口，并不能很好满足数据分析师构建数据治理应用的需求，而数据湖探索
华为云开发者社区·2020-07-31 10:00

不让数据变“泥沼”，收藏这份2020数据中台“避坑”指南

所谓数据中台，既不同于大数据平台，也不同于传统的数据仓库、数据湖或BI商业智能，而是将数据技术与实体经济深度融合的一种新型企业级软件。
阿川2015·2020-07-30 19:31

数据治理之死(二)

而华为，一开始只是做数据湖，所有的数据都扔到湖里，然后在DAYU里做分析，讲究的是数据与平台分离，在原有数据上重新定义
zhenzigis·2020-07-30 11:07

数据湖、Jcmd

一、什么是数据湖维基百科上定义，数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。
灬点点·2020-07-29 10:06

说个神秘的概念——数据湖

这是第❹篇神扯：说个神秘的概念——数据湖。从前，数据少的时候，人们拿脑子记就可以了，大不了采用结绳记事：后来，为了更有效率的记事和工作，数据库出现了。数据库核心是满足快速的增删改查，应对联机事务。
冰阔落·2020-07-29 10:52

中台，很多人理解的都不对

简介：最近中台比较热，但业界内并没有对中台有统一认可清晰的定义，很多人会把中台与数据仓库、数据湖混为一谈。但需要提醒读者注意的是，数据中台并不是一个系统，它首先是一种组织架构。
阿里云云栖号·2020-07-29 02:32

下一代数据湖技术：Tachyon + Spark将极为重要

下一代数据湖技术的关键在于In-memory处理的普及+能够在单一环境下支持多重数据分析负载的架构。
湘西刀疤客·2020-07-29 00:33

数据湖架构浅谈

数据湖架构浅谈一、大数据技术和工具归类：部分术语翻译：Administration:管理平台(此处应指大数据管理平台)DataSecurity:数据安全DataGovernance:数据管控DataComputing
叶青舟·2020-07-28 23:59

使用Apache Spark和Apache Hudi构建分析数据湖

欢迎关注微信公众号：ApacheHudi1.引入大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWSS3构建的。
xleesf·2020-07-28 23:25

Teradata扩展数据湖搭建能力

全球领先的大数据分析服务供应商Teradata天睿公司（TeradataCorporation，纽交所：TDC）宣布旗下ThinkBig公司运用ApacheSpark扩展数据湖与管理服务业务。
weixin_34408717·2020-07-28 19:16

基于 DataLakeAnalytics 的数据湖实践

随着软硬件各方面条件的成熟，数据湖(DataLake)已经越来越受到各大企业的青睐,与传统的数仓实践不一样的是，数据湖不需要专门的“入仓”的过程，数据在哪里，我们就从哪里读取数据进行分析。
George_Fal·2020-07-28 17:22

重磅｜Spark Delta Lake 现在由Linux基金会托管，将成为数据湖的开放标准

一年一度的Spark+AISummitEurope峰会于2019年10月15-17日在欧洲的阿姆斯特丹举行。在10年16日数砖和Linux基金会共同宣布DeltaLake和将成为一个Linux基金会项目（参考：https://www.linuxfoundation.org/press-release/2019/10/the-delta-lake-project-turns-to-linux-fou
过往记忆·2020-07-28 15:44

一文读懂数据湖及企业中的架构特点

1.数据湖诞生数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始的时候，每个应用程序会产生、存储大量数据，而这些数据并不能被其他应用程序使用，这种状况导致数据孤岛的产生。
大数据星球-浪尖·2020-07-28 10:05

5.数据湖deltalake流表的读写

deltalake和sparkstructuredstreaming可以深度整合。deltalake克服了很多常见的与流系统和文件整合带来的相关限制，如下：保证了多个流(或并发批处理作业)的仅一次处理。当使用文件作为流源时，可以有效地发现哪些文件是新文件。1.作为streamsource1.1案例讲解当你的structuredstreaming使用deltalake作为streamsource的时
大数据星球-浪尖·2020-07-28 10:05

1.数据湖deltalake初识

核心特性ACID事务：为数据湖提供ACID事务，确保在多个数据管道并发读写数据时，数据
大数据星球-浪尖·2020-07-28 10:05

Wikibon：2019大数据和机器学习的预测

虽然水平方法依然重要（如数据湖和定制分析管道），但是通过API和应用程序访问，这类更加易于开发的在线业务使大数据技术的价值剧增。大数据将会成为所有数据业务的推动者，并
数据工程师金牛·2020-07-27 20:49

大数据终极挑战：华为智能数据释放“数据湖”战略价值

自2010年国际上首次提出“数据湖”概念以来，数据湖就被视为大数据的终极挑战。所谓数据湖，即把所有的数据以原始格式存储在一个统一的地方，以供后续使用。
阿川2015·2020-07-27 18:25

2W字 0-1 讲解数仓(附软硬件架构图)(建议收藏)

智慧城市、智慧社会企业层面的：数字互联网，数字经济、数字平台、数字城市、数字政府；平台层面的：物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱技术层面的：数据仓库、数据集市、大数据平台、数据湖
无精疯·2020-07-27 18:46

Uber基于Apache Hudi构建PB级数据湖实践

文|hudi来源|ApacheHudi1.引言从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。2016年，Uber开发了增量处理框架ApacheHudi，以低延迟和高效率为关键业务数据管道赋能。一年后，Uber开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，Uber履行承诺，进一步将
LinkTime_Cloud·2020-07-27 16:32

Hadoop当下最简洁的大数据各种技术介绍与总结

当下最简洁的大数据各种技术介绍与总结当下最简洁的大数据各种技术介绍与总结1.大数据的发展历史1.1启蒙阶段：数据仓库的出现1.2技术变革：Hadoop诞生1.3数据商业化：数据湖系统1.4数据工厂时代：
csdnzoutao·2020-07-27 15:44

DeltaLake介绍

概述DeltaLake是DataBricks的一个开源项目，它是带ACID的开源存储层，可为数据湖(datalake)带来可靠性。它和Spark的API完全兼容。
一 铭·2020-07-27 14:46

Delta Lake 数据湖简单介绍

workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间提供一致性的读取，从而为构建在HDFS和云存储上的数据湖
发咪·2020-07-27 14:17

Delta Lake，让你从复杂的Lambda架构中解放出来

Linux基金会的DeltaLake（Delta.io）是一个给数据湖提供可靠性的开源存储层软件。
weixin_45906054·2020-07-27 14:51

关于即将发布的 TensorFlow 2.0，你需要知道这几件事

我们已经看到了运营由这两家公司和其他公司部署的所有数据湖的巨大机会，而这样的机会在两年前可能连想都不敢想”。Conflue
weixin_34302798·2020-07-27 13:00

Delta Lake、Iceberg 和 Hudi 三大开源数据湖不知道如何选？那是因为你没看这篇文章...

目前市面上流行的三大开源数据湖方案分别为：delta、ApacheIceberg和ApacheHudi。
过往记忆·2020-07-27 13:55

Spark母公司Databricks数砖将Delta Lake开源了

DeltaLake诞生背景很多公司内部数据架构中都有数据湖，数据湖即一种大型数据存储和处理引擎，能够存储大量各种类型的数据，拥有强大的信息处理能力和处理几乎无限的兵法任务和工作的能力。
alexdamiao·2020-07-27 11:39

数据湖应用解析：Spark on Elasticsearch一致性问题

摘要：脏数据对数据计算的正确性带来了很严重的影响。因此，我们需要探索一种方法，能够实现Spark写入Elasticsearch数据的可靠性与正确性。概述Spark与Elasticsearch（es）的结合，是近年来大数据解决方案很火热的一个话题。一个是出色的分布式计算引擎，另一个是出色的搜索引擎。近年来，越来越多的成熟方案落地到行业产品中，包括我们耳熟能详的Spark+ES+HBase日志分析平台
华为云开发者社区·2020-07-27 11:32

数据湖应用解析：Spark on Elasticsearch一致性问题

目前，华为云数据湖探索（DLI）服务已全面支持Spark/Flink跨源访问Elasticsearch。而之前在实现过程中也遇到过很多场景化问题，
华为云·2020-07-27 10:21
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他