数据湖

数据湖架构，为什么需要“湖加速”？

简介：湖加速即为数据湖加速，是指在数据湖架构中，为了统一支持各种计算，对数据湖存储提供适配支持，进行优化和缓存加速的中间层技术。那么为什么需要湖加速？数据湖如何实现“加速”？
阿里云开发者·2020-09-16 08:15

数据湖 data lake_在Data Lake中高效更新TB级数据的模式

数据湖datalakeGOAL:ThispostdiscussesSQL“UPDATE”statementequivalentforadatalake(object)storageusingApacheSparkexecutionengine.Tofurtherclarifyconsiderthis
weixin_26713521·2020-09-14 07:11

阿里云智能事业群招人！

请简历发送给我：[email protected]※团队介绍阿里云智能数据库事业部OLAP平台团队，专注于提供全球领先的全栈式大规模OLAP数据库产品，包括分析型数据库AnalyticDB、数据湖分析
yeweiouyang·2020-09-13 23:35

Hadoop真的要死了吗？

我们已经看到了运营由这两家公司和其他公司部署的所有数据湖的巨大机会，而这样的机会在两年前可能连想都不敢想”。Conflue
test 999·2020-09-13 11:20

深入剖析 Delta Lake: schema validation

DeltaLake是Spark的开源存储层，可提供ACID事务和其他数据管理功能，用于机器学习和其他大数据工作，其通过写和快照隔离之间的乐观并发控制，在写入数据期间提供一致性的读取，从而为构建在HDFS和云存储上的数据湖
甄情·2020-09-13 02:05

数据架构与数据库建模

一、数据架构与数据模型在数据资产化浪潮汹涌而来的时候，数据平台，数据中台，数据湖等平台也成为了企业的数据资产化建设的的‘基建项目’，数据模型是这个基建项目的核心内容之一，贯穿了整个数据架构。
datablau国产数据库建模工具·2020-09-12 23:26

TableStore实战：DLA+SQL实时分析TableStore

一、实战背景什么是DLA（DataLakeAnalytics数据湖）？他是无服务器化（Serverless）的云上交互式查询分析服务。作为分布式交互式分析服务，是表格存储计算生态的重要组成之一。
weixin_34203832·2020-09-12 17:02

数据湖技术 Iceberg 的探索与实践

本文资料来自2020年9月5日由快手技术团队主办的快手大数据平台架构技术交流会，分享者邵赛赛，腾讯数据平台部数据湖内核技术负责人，资深大数据工程师，ApacheSparkPMCmember&committer
过往记忆·2020-09-12 11:41

中台架构详解（下）| 建设数据中台系列（五）

笔者曾经参与过不少定位为统一平台的项目，其中有不少失败的案例，对于这个问题有一点个人的思考：也许中心化系统都是反传统管理体制的，烟囱式的生态系统是企业组织架构在IT上的投影，小到“数据湖”，大到中台，没有强力对等的中心化组织去主导
bluishglc·2020-09-12 10:31

通俗语言解释数据仓库、数据湖、数据中台

数据仓库如何理解数据仓库？举个简单的例子。我现在打算学习大数据的内容，所以我看了CSDN，博客园，微信的大数据公众号，一些实体书等等，并且我在看某些这些东西的时候，有些不错的文章我都收藏了，储存在这些论坛的账号中，实体书我也做了很多标记，来标出那些对我有用的部分。看了好几个月之后，我打算来一次整体的复习，结果这个时候遇到了困难：我收藏的文章太多了，我完全记不得到底哪些文章在哪里了，如果我要找某一篇
并不是触手·2020-09-11 21:00

银行大数据新玩法，构建“一湖两库”金融数据湖

大数据技术经过近几年的快速发展，在企业数据中心的基础设施上已不鲜见，尤其是金融行业，大数据技术应用一直走在其它行业前面，它们在以数据湖、融合数仓、湖内数仓（DataLakeHouse）等一些典型的技术场景中
华为云·2020-09-11 12:38

微服务架构下，DLI的部署和运维有何奥秘？

华为云数据湖探索DLI是支持多模引擎的Serverless大数据计算服务，其很好的实现了Serverless的特性：1.弱化了存储和计算之间的联系；2.代码的执行不再需要手动分配资源；3.按使用量计费。
华为云·2020-09-11 12:37

数据隔离、访问授权，用好大数据为什么这么难？

笔者结合在华为云数据湖探索服务中的技术沉淀与丰富的企业数据安全管理经验，从以下几点来探讨如何精细化保障企业大数据安全。1、企业大数据的安全挑战2、数据资产权限管理的通用做法
华为云·2020-09-11 12:37

大数据教程，小白从零快速掌握数据湖架构开发（最新技术Delta Lake）

对数据湖概念进行介绍，并通过DeltaLake技术配合Hadoop、Spark完成数据湖架构的搭建，并介绍通过AWS构建数据湖的方式。
传智播客官方博客·2020-09-10 14:06

华为云智能数据湖创新，“数据驱动业务”有的放矢

点击上方关注我们!我们正在迈入新的智能数据时代！由大数据产业生态联盟联合《软件和集成电路》杂志社、赛迪顾问股份有限公司、工信部赛迪智库共同编制的《2020中国大数据产业生态地图暨中国大数据产业发展白皮书》（以下简称《白皮书》）显示，数据关键要素作用初步显现，数据共享开放初见成效，数据治理成为关注重点；2020年，我国大数据产业规模将达到6670.2亿元，增长率为23.6%。随着技术的演进，数据发生
中国云报·2020-09-10 11:07

吸烟打电话检测、车道线识别等，2020中国华录杯·数据湖算法大赛火热进行中！...

数据湖围绕数据的全生命周期管理打造新一代数字基础设施，在硬件层面构筑了高性能、低成本、智能化、高安全的数字经济底座，并通过对存储、算法、计算等各类平台的创新融合，借助虚拟化引擎将数据基础设施对外开放，让数据每比特成本最优
我爱计算机视觉·2020-08-26 13:33

数据湖DeltaLake编译scalastyle检查错误Failing because of negative scalastyle result

delta编译报错很明显是scalastyle检查的问题，但是sbt不像maven有-skip可以不执行检查，用scalastyle:on/scalastyle:off太麻烦，只好把scalastyle-config.xml文件的内容全部清空$build/sbtcompileUsingE:\dev_tools\jdk1.8.0_202\jdkasdefaultJAVA_HOME.Note,this
luyee2010·2020-08-24 19:44

又又又获得信通院产品认证

近日，在中国信息通信研究院（信通院）组织的第十批大数据产品能力评测中，百度智能云数据湖管理与分析平台EasyDAP顺利通过了信通院数据集成工具能力评测。
百度智能云·2020-08-24 18:38

Spark数据分析概念入门

原文地址:http://blog.52sox.com/Spark-d...在大数据的时代,数据的各种术语层出不穷,比如数据仓库、数据湖,还有比较热门的Hadoop、Spark,让人眼花缭乱。
我勒个去·2020-08-24 14:33

大咖说中台 | 中台不是“银弹”！

笔者曾经参与过不少定位为统一平台的项目，其中有不少失败的案例，对于这个问题有一点个人的思考：也许中心化系统都是反传统管理体制的，烟囱式的生态系统是企业组织架构在IT上的投影，小到“数据湖”，
CSDN资讯·2020-08-24 12:39

数据分析的一些发展趋势，传统的商业分析决策过时了吗？

还需要善于筛选，整理，理解数据湖中的所
大数据在说话·2020-08-24 01:10

Apache Hudi：说出来你可能不信，你的ETL任务慢如狗

1.简介ApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
王知无-大数据技术与架构·2020-08-23 10:03

数据中台：浅析数据湖和数据中台的关系

1那些让人眼花缭乱的概念不知道大家有没有发现，这几年的数据领域有好多的概念，例如：大数据、人工智能、物联网、边缘计算、数据治理、数据湖、数据中台、数据可视化……。
过往记忆·2020-08-23 07:26

大咖说中台 | 建设数据中台系列（五）——中台架构详解（下）

笔者曾经参与过不少定位为统一平台的项目，其中有不少失败的案例，对于这个问题有一点个人的思考：也许中心化系统都是反传统管理体制的，烟囱式的生态系统是企业组织架构在IT上的投影，小到“数据湖”，
CSDN云计算·2020-08-23 04:52

数据湖和数据中台是什么关系？终于有人讲明白了

导读：本文聊一聊数据湖与当下热度非常高的数据中台之间的关系。
大数据v·2020-08-22 20:52

中台，很多人理解的都不对

简介：最近中台比较热，但业界内并没有对中台有统一认可清晰的定义，很多人会把中台与数据仓库、数据湖混为一谈。但需要提醒读者注意的是，数据中台并不是一个系统，它首先是一种组织架构。
阿里云云栖号·2020-08-22 16:55

直播 | 即将发版的 Flink 1.11 有哪些重大变更？

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-22 15:19

数智时代新基石，贾扬清重磅发布新一代云原生数据仓库与数据湖

6月9日，在2020阿里云峰会上，阿里巴巴副总裁、阿里云计算平台事业部高级研究员贾扬清宣布推出新一代云原生数据仓库和数据湖解决方案。
阿里云hologres·2020-08-22 15:40

数据库 数据仓库 和数据湖的区别

首先说一下数据分类结构化数据,例如数据库中的数据,有严格的约束半结构化数据,例如日志数据,是文件中的数据,数据间有\t或其他符号做分割非结构化数据,例如音频,视频等二进制文件数据库数据仓库和数据湖的区别数据库存储的是上边的结构化数据数据仓库存储的是上边对应的半结构化数据数据湖存储的是对应上边的非结构化数据
嘿嘿四个窝窝头·2020-08-22 04:07

数据仓库，数据集市，数据湖

目录一、数据仓库和数据集市的概念二、数据集市的特点三、数据仓库与数据集市的区别四、数据湖的出现出现的原因：数据湖的优点：数据湖架构显著的特点：五、数据仓库和数据湖对比一、数据仓库和数据集市的概念数据仓库
纵死侠骨香·2020-08-22 00:51

分布式 Lambda 从海外到中国自动同步S3文件

利用S3作为数据湖，存储海量的数据，包括图片、视频、日志、备份等等。很多场景下，需要把海外的S3数据复制到中国，在中国进行进一步分析处理。
小E的私房菜·2020-08-21 05:30

玩转云上数据湖，解析Serverless 技术落地

导读：本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。
华为云开发者社区·2020-08-21 02:33

直播 | 即将发版的 Flink 1.11 有哪些重大变更？

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-21 02:18

周末直播|Flink、Hologres、AI等热门话题全都安排！

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-21 02:18

数据仓库、数据湖、流批一体，终于有人讲清楚了！

简介：数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？
阿里技术·2020-08-21 02:35

构建企业级数据湖？Azure Data Lake Storage Gen2实战体验（上）

背景相较传统的重量级OLAP数据仓库，“数据湖”以其数据体量大、综合成本低、支持非结构化数据、查询灵活多变等特点，受到越来越多企业的青睐，逐渐成为了现代数据平台的核心和架构范式。
weixin_30325793·2020-08-20 19:22

数据平台、大数据平台、数据中台……你确定能分得清吗？

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
华为云开发者社区·2020-08-20 17:33

数据平台、大数据平台、数据中台……你确定能分得清吗？

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
华为云开发者社区·2020-08-20 17:33

【华为云技术分享】DLI跨源｜当DLI遇见MongoDB

导语：MongoDB作为灵活高效易扩展的no-schema数据库，越来越受到互联网公司、游戏行业等开发者的青睐，但是MongoDB有着独特的语言接口，并不能很好满足数据分析师构建数据治理应用的需求，而数据湖探索
华为云开发者社区·2020-08-20 17:14

【华为云技术分享】DLI跨源｜当DLI遇见MongoDB

导语：MongoDB作为灵活高效易扩展的no-schema数据库，越来越受到互联网公司、游戏行业等开发者的青睐，但是MongoDB有着独特的语言接口，并不能很好满足数据分析师构建数据治理应用的需求，而数据湖探索
华为云开发者社区·2020-08-20 17:14

数据湖应用解析：Spark on Elasticsearch一致性问题

摘要：脏数据对数据计算的正确性带来了很严重的影响。因此，我们需要探索一种方法，能够实现Spark写入Elasticsearch数据的可靠性与正确性。概述Spark与Elasticsearch（es）的结合，是近年来大数据解决方案很火热的一个话题。一个是出色的分布式计算引擎，另一个是出色的搜索引擎。近年来，越来越多的成熟方案落地到行业产品中，包括我们耳熟能详的Spark+ES+HBase日志分析平台
华为云开发者社区·2020-08-20 17:32

数据湖应用解析：Spark on Elasticsearch一致性问题

摘要：脏数据对数据计算的正确性带来了很严重的影响。因此，我们需要探索一种方法，能够实现Spark写入Elasticsearch数据的可靠性与正确性。概述Spark与Elasticsearch（es）的结合，是近年来大数据解决方案很火热的一个话题。一个是出色的分布式计算引擎，另一个是出色的搜索引擎。近年来，越来越多的成熟方案落地到行业产品中，包括我们耳熟能详的Spark+ES+HBase日志分析平台
华为云开发者社区·2020-08-20 17:32

微软收购 ADRM 软件，通过行业数据模型增强 Azure

微软表示，计划将这些模型与Azure的存储和计算结合起来，以支持创建数据湖，将来自多个业务领域的信息按比例整理在
芒果果·2020-08-20 17:52

微软收购 ADRM 软件，通过行业数据模型增强 Azure

微软表示，计划将这些模型与Azure的存储和计算结合起来，以支持创建数据湖，将来自多个业务领域的信息按比例整理在
芒果果·2020-08-20 17:51

数据平台、大数据平台、数据中台……傻傻分不清？这次终于有人讲明白了……...

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
LinkTime_Cloud·2020-08-19 23:09

数据平台、大数据平台、数据中台……傻傻分不清？这次终于有人讲明白了！

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
CSDN云计算·2020-08-19 23:31

数据平台、大数据平台、数据中台……傻傻分不清？这次终于有人讲明白了！

近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范
CSDN云计算·2020-08-19 19:22

写了 30 万行基础设施代码后，我们得出 5 个有用的经验

1、处于石器时代的DevOps虽然这个行业充斥着各种前沿的流行语——Kubernetes、微服务、服务网格、不可变基础设施、大数据、数据湖，等等——但实际情况是，
weixin_33976072·2020-08-19 07:16

阿里云与WPS深度合作，开放数据处理生态

标志着阿里云存储开放的数据湖体系不但面向计算引擎，还面向应用开放。在3月28日举行的2018云栖大会-深圳峰会上，阿里云与金山办公达成深度合作，WPS在线预览与格式转换能力落地阿里云。
猫耳呀·2020-08-19 05:50

数据湖 | 一文读懂Data Lake的概念、特征、架构与案例

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。
大数据技术与架构·2020-08-18 12:05
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他