数据湖

数据仓库面试题

数据湖的理解？数仓最重要的是什么？概念数据模型、逻辑数据模型、物理数据模型概念数据模型CDM逻辑数据模型LDM物理数据模型PDMSCD的常用处理方式？元数据的理解？技术元数据业务元数据元数据管理系统
upupfeng·2020-07-20 12:16

数据湖、数据仓库、数据库: 区别是什么?

近来数据湖日益流行，而且往往与数据仓库相对比。认识到二者之间存在许多差异，不应该以同样的方式使用是十分重要的。
iQian²·2020-07-16 05:43

大数据/数仓面试灵魂30问（转）

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程度（建模工具、ETL工具、BI报表工具、调度系统）5.传统数仓和大数据数仓的异同？有哪些大的变化？6.印象最深刻的项目？为什么？
颹蕭蕭·2020-07-14 12:08

百度飞桨+百度地图携手助力华录杯算法赛，21万奖金等你来拿

作为峰会重要赛事之一，2020中国华录杯·数据湖算法大赛也在会议期间启动报名。
百度大脑·2020-07-13 21:01

使用 Apache Atlas 进行数据治理

采用Hadoop必须考虑数据管理的实际情况，元数据与数据治理成为企业级数据湖的重要部分。
wangyiyungw·2020-07-13 16:14

我该建数仓、大数据平台还是数据中台？看完脑子终于清醒了

智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖
不夜De星空·2020-07-13 05:25

大数据融合技术：问题与挑战

数据所涉及的知识范畴的“粒度”多样演化性——指数据随时间或解释的变化而变化的特性真实性——由实体的同名异义、异名同义表示以及关系的变化引起普适性——指在认知范围内达成共识的特性，例如“老师”和“蜡烛”具有该特性数据湖
Subson·2020-07-13 01:22

基于Google Dataproc+Alluxio加速本地Hadoop数据湖计算处理

很多公司将他们的数据存储在私有集群环境的Hadoop分布式文件系统(HDFS)中。随着存储数据量的增长以及来自ApacheSpark,Presto,ApacheHive等分析框架之上的应用负载增加,这种固定的私有基础架构变得更加耗费资金并且造成了数据处理作业的延时增大。处理该问题的方法之一就是使用Alluxio配合GoogleDataprco加速作业负载。Alluxio是一个为分析型任务和人工智能
Alluxio·2020-07-12 23:42

Dremio的部署搭建和实战使用详解

1.关于DremioDremio的数据湖引擎提供了闪电般的查询速度和一个直接针对数据湖存储的自服务语义层。
城南少年与猫·2020-07-12 22:22

阿里资深架构师：全方位解读BI、数据仓库、数据湖和数据中台的内涵和差异

目录前言一数据仓库1.1数据仓库基本定义1.2数据仓库系统作用和定位1.3数据仓库能提供什么1.4数据仓库系统构成二数据湖2.1维基百科对数据湖的定义2.2数据湖能给企业带来多种能力2.3数据仓库与数据湖差异三数据中台
天秤座的架构师·2020-07-12 03:38

数据湖、数据仓库、数据中台基础概念解读

智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖
天秤座的架构师·2020-07-12 03:06

大数据/数仓面试灵魂30问

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程度（建模工具、ETL工具、BI报表工具、调度系统）5.传统数仓和大数据数仓的异同？有哪些大的变化？6.印象最深刻的项目？为什么？
大数据技术架构·2020-07-12 02:41

Greenplum学习计划--设计与进展

简介架构架构讲解版本说明新特性数据分区和分区特性数据仓库、数据湖、数据集市与数据中台新特性6.0的新特性Postgresql10的新特性安装实验环境安装步骤和思路安装配置的最佳实践安装部署方案新版本的安装部署阿里云上的安装部署集群管理集群的启动和管理集群的状态查看
Murkey学习之旅·2020-07-10 17:34

颠覆传统！麦肯锡的数字化咨询：只用5步，打造创新的数据架构

从数据湖到客户分析平台再到流处理的这些技术附加功能极大地增加了数据架构的复杂性，通常极大地妨碍了组织提供新功能，维护现有基础架构以及确保人工智能完整性的持续能力模型。
Leo.yuan·2020-07-10 14:08

Uber 如何使用 Apache Hudi 支撑 PB 级数据湖

1.引言从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。2016年，Uber开发了增量处理框架ApacheHudi，以低延迟和高效率为关键业务数据管道赋能。一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了ApacheSoftwareFoun
过往记忆·2020-07-10 05:34

Oracle Goldengate 打通数据贯通的金桥--原厂笔记

通过这些数据可以预见未来多云环境下的数据同步需求将出现爆发式的增长数据集成的需求零停机迁移、为数据湖/数仓供数、读写分离、多云之间数据同步、双活容灾、流数据实时分析这些需求都需要实时数据同步来解决，所以在今天人们比以往更需要数据实时同步
Murkey学习之旅·2020-07-09 20:42

数据湖：设计更好的架构、存储、安全和数据治理

凌云时刻·技术导读：应该用数据仓库还是数据湖？
凌云时刻·2020-07-09 13:28

Delta Lake 和 Apache Hudi 两种数据湖产品全方面对比

DeltaLake是数砖公司在2017年10月推出来的一个项目，并于2019年4月24日在美国旧金山召开的Spark+AISummit2019会上开源的一个存储层。它是DatabricksRuntime重要组成部分。为ApacheSpark和大数据workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间
过往记忆·2020-07-08 12:27

对于中台的更详细个人解释

摄像头视觉识别人机界面、语音交互人机界面2、逻辑层：面向对象技术/组件技术/SOA服务中间件/微服务中间件技术、人工智能NLP/机器学习3、数据层：SQL数据库/NOSQL数据库、大数据计算平台/数据仓库数据湖
际遇598·2020-07-08 01:06

HTAP数据库系列 | 数据湖时代的数据库如何选择？

Pentaho的CTOJamesDixon在2010年创造了“数据湖”这个术语，并将其定义如下：“如果你把数据集市看作一个瓶装水的储存——清洁、包装和结构化以便于消费。
天云数据·2020-07-08 00:06

大数据之Hudi + Kylin的准实时数仓实现

2、数据湖有什么用途？解决什么问题？3、数据仓库的加载链路如何实现？4、Hudi新一代数据湖项目有什么优势？
贝拉美·2020-07-06 20:11

雪花形 数据仓库_雪花评论：数据仓库在云中变得更好

数据仓库与数据湖之间的区别在于，数据湖以其自然格式存储数据，通常是blob或文件，而数据仓库则将数据存储为数据库。[获取MattAsay在Inf
cxt70571·2020-07-06 18:30

使用Apache Hudi构建大规模、事务性数据湖

HudiPMC&UberSeniorEngineeringManagerNishithAgarwal分享的Talk关于NishithAgarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等
大数据技术架构·2020-07-05 16:41

AWS re:invent 2018 重庆发布会

AWSre:invent2018重庆发布会——笔记目录一、基础架构二、数据湖三、机器学习四、数据库五、区块链六、无服务器一、基础架构1.网络1)AWSglobalAccelerator提升全球应用程序的可用性和性能
Zcoder`Blog·2020-07-05 08:05

初创公司必须发掘大数据潜力的四大理由 再不注重大数据就晚了

对数据湖的正确分析有助于企业做出明确的决定，从而提高生产率，进而刺激投资回报率快速增长。原文作者：ShraddhaTewari，本文由36大数据翻译组-Teradata数据分析见习顾问惠慧。
36大数据·2020-07-05 01:49

Hadoop和企业信息管理：利用大数据的解决方案

数据仓库现代化、Hadoop项目级的采用和数据湖泊的使用的早期(和持续)趋势可能会继续以更快的速度向前发展。在版本1和2之间，Hadoop已经从一个主要面向批处理的
haboop·2020-07-04 17:06

5G时代下，如何应对物联网大数据分析的严峻挑战

企业通常将此类数据放在数据湖中，例如AmazonS3，AzureDat
脑洞小开·2020-07-04 07:20

2.数据湖DeltaLake之DDL操作

前面讲了deltalake简介，特性及基本操作。本文主要是讲DeltaLake的DDL操作，实际上是依赖于sparkdatasourcev2和catalogAPI（3.0+）的，所以Deltalake整合spark的时候最好是3.0开始吧，正好最近spark3.0也发布了。对创建sparksession有点要求，需要加上两个配置：valspark=SparkSession.builder().ap
大数据星球-浪尖·2020-07-04 01:53

Delta Lake理解

DeltaLake是一个数据湖产品，什么是数据湖？？数据仓库是将数据进行ETL，存入HDF或者别的数据库。数据湖是将所有类型的数据不进行处理，直接存入，做分析时，才将数据进行ETL。
纽扣子·2020-07-02 16:41

亚马逊、微软云和二度云 国外三大云服务商优劣的那些事！

对于批处理和流处理，GCP提供了云数据流、数据湖的大查询和Dataproc——一
IT老王博客·2020-07-02 16:14

Delta Lake 尝鲜

workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间提供一致性的读取，从而为构建在HDFS和云存储上的数据湖
zfylin·2020-07-02 13:59

Delta Lake

DeltaLake可以运行在现有数据湖之上，并完全和ApacheSparkAPIs兼容DeltaLake具体提供如下特性：Spark上的ACID事务：可序列化的隔离级别确保Reader永远看不到不一致的数据
筑梦之人·2020-07-01 20:08

贾扬清明日发布新一代云原生数仓与数据湖产品 | 凌云时刻

凌云时刻·极鲜速递6月16日阿里云合作伙伴峰会，阿里巴巴集团副总裁、阿里云智能计算平台事业部高级研究员贾扬清深度解读飞天大数据与AI平台生态战略，重磅发布新一代云原生数仓与数据湖产品，以及飞天大数据与AI
凌云时刻·2020-07-01 18:34

这可能是学习 Spark Delta Lake 最全的资料

workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间提供一致性的读取，从而为构建在HDFS和云存储上的数据湖
Hadoop技术博文·2020-07-01 17:34

Delta Lake （一） 简介

DeltaLake一、简介DeltaLake是一个开源存储层，为数据湖带来了可靠性。DeltaLake提供了ACID事务、可伸缩的元数据处理以及统一的流和批数据处理。
蚂蚁拾贝·2020-07-01 11:43

MongoDB Atlas 数据湖、MongoDB Atlas 全文搜索以及 MongoDB Charts的普遍可用，为开发人员提供了更全面的数据平台

MongoDBAtlas数据湖和MongoDBAtlas全文搜索的测试版本允许用户在完全托管的MongoDB环境中使用强大的新功能，而无需集成其他系统。
MongoDB 数据库·2020-07-01 11:21

【华为云技术分享】玩转云上数据湖，解析Serverless 技术落地

摘要：本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。
华为云·2020-07-01 02:55

企业数据湖和Lambda架构原理——实践技术组件、各模块涉及的技术框架（一）

企业数据湖和Lambda架构原理——实践技术组件、各模块涉及的技术框架（一）(间断持续更新…)目录数据湖概览Lambda架构：一种数据湖的实现模式数据湖中Lambda中的应用数据获取层批数据获取：ApacheSqoop
飞朋·2020-06-30 19:04

为什么大数据需要数据湖？

自2011年“数据湖”概念被提出，业界便对数据湖一直有着广泛而不同的理解和定义。
zl1zl2zl3·2020-06-30 18:16

下一个风口-基于数据湖架构下的数据治理

数据湖，是可以容纳大量的原始数据的存储库和处理系统，已经成为企业应用大数据的重要工具。
木东居士·2020-06-30 14:05

辨析BI、数据仓库、数据湖和数据中台内涵及差异点(建议收藏)

前言随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵进行系统的解析
木东居士·2020-06-30 14:04

数据仓库、数据湖、流批一体，终于有人讲清楚了！

简介：数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？
阿里技术·2020-06-30 14:53

大数据和云计算技术周报（第141期)

本期会给大家奉献上精彩的：数据分析、flink、CDH、MongoDB、数据湖、ES、Kafka、分布式调度框架。全是干货，希望大家喜欢！！！
大数据和云计算技术·2020-06-30 12:16

“前浪”数据仓库和大数据平台，到“后浪”数据中台的演变史

智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖
Leo.yuan·2020-06-30 10:00

数据湖和数据仓库的区别是什么？

我们都知道，进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？
CDA·数据分析师·2020-06-30 08:52

从数据仓库到大数据平台再到数据中台

智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖
jeanron100·2020-06-30 05:11

2020软件开发趋势预测（学习总结）

云计算/云服务、容器技术、软件架构、编程语言、Web开发、APP、深度学习、数据库、数据湖、批处理、流处理、字节码（ByteCode）、无代码（No-code）技术栈要点云服务国外：AWS,Azure(
dingxl18·2020-06-30 02:13

直播 | Delta Lake 如何帮助云用户解决数据实时入库问题

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
weixin_45906054·2020-06-29 16:39

JindoFS: 云上大数据的高性能数据湖存储方案

本场视频链接：https://developer.aliyun.com/live/1546?spm=a2c6h.12873639.0.0.7dcd359fhRnsQ8&groupCode=apachesparkppt观看：https://www.slidestalk.com/AliSpark/0761944点击文末‘阅读原文’可直达链接EMRJindoFS背景计算存储分离已经成为云计算的一种发展趋
weixin_45906054·2020-06-29 16:38

元数据新型存储架构的探索

元数据产品从最初主要支持关系型的数据管理到现在的大数据平台、数据湖、微服务这种新的数据架构形态的管理。原有的存储架构从分析元数据关系效率、检索速度都不能满足应用的需求了。
EAWorld·2020-06-29 15:33
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他