数据湖

大数据领域 数据管理工具 的概念区分

目录1.定义1.1大数据1.2数据仓库1.3数据库1.4数据中台1.5数据湖2.区别与联系2.1大数据与数据仓库2.2数据仓库与数据库2.3数据仓库与数据集市2.4数据仓库与数据中台2.5数据仓库与数据湖
LdyLLLLLLLD·2022-12-02 12:29

数据驱动业务创新

90%的大数据基础设施和数据湖无法提供所需的性能。然而，成功是必不可少的：以
用友iuap·2022-12-01 19:22

直播预告ｌApache Hudi 中文社区技术交流会第六弹

随着数据湖架构的日益成熟，如何对数据湖中的数据进行高效极速的分析，逐渐成为了企业数据湖平台成败的关键。
StarRocks_labs·2022-12-01 19:04

技术分享 | Presto性能对比测试：Kubernetes部署 VS 物理机部署

Uber将Presto用于SQL数据湖，每周有超过7000名活跃
·2022-12-01 13:23

Apache Hudi X Apache Kyuubi，中国移动云湖仓一体的探索与实践

孙方彬中国移动云能力中心软件开发工程师编辑整理：HohXil出品平台：DataFunTalk导读：在云原生+大数据的时代，随着业务数据量的爆炸式增长以及对高时效性的要求，云原生大数据分析技术，经历了从传统数仓到数据湖
·2022-12-01 13:51

数据仓库、数据湖、数据平台和数据中台的概念和区别

概念内容转载https://blog.csdn.net/m0_56143415/article/details/122706613?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-0-122706613-blog-121877197.pc_relevant_landi
一阵暖风·2022-12-01 08:34

大数据-数据湖建设

前言本篇文章主要介绍数据湖建设的一些方法论一、数据湖逻辑架构数据湖的建设通常有如下特点：逻辑统一：数据湖不是一个单一的物理存储，而是根据数据类型、业务区域等由多个不同的物理存储构成，并通过统一的元数据语义层进行定义
黄小果·2022-12-01 08:02

一文详解，数据仓库、数据库、数据中台、数据湖的区别

数据时代，各行业的企业都已经开始通过数据库来沉淀数据，但是真的论起数据库、数据仓库、数据中台，还是新出现的数据湖，它们的概念和区别，可能知道的人就比较少了，今天我们详细来比较了解一下。
派可数据BI可视化·2022-11-30 19:52

【AI】微软人工智能学习笔记（一）

02|Azure数据湖泊数据湖泊解决方案数据湖泊的解决方案是目前很火的一个解决方案，主要分为三个步骤，导
weixin_30764771·2022-11-30 17:36

开源大数据：数据湖

数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。
ejinxian·2022-11-29 06:31

【AWS系列】第八讲：AWS Serverless之S3

目录序言1.基础介绍1.1概念介绍1.2原理介绍1.3应用场景1.3.1构建数据湖1.3.2备份和还原关键数据1.3.3以最低成本存档数据1.3.4运行云原生应用程序1.4S3的功能1.4.1存储类1.4.2
颜淡慕潇·2022-11-28 12:46

选型宝访谈：移动+社交时代，如何治理“大数据洪水”？

智能数据湖是怎么回事
普通网友·2022-11-28 12:41

湖仓一体架构：数字化的终局之选！

大家好，我是梦想家Alex~之前我已经分享过不少有关数据湖，数据仓库，数据中台的文章，但今天想为大家介绍的是被誉为“数字化终局之选”的湖仓一体架构，希望对大家有所启发，欢迎转发收藏！
大数据梦想家·2022-11-28 11:18

现在的湖仓一体像是个伪命题

现在很热的湖仓一体（Lakehouse）也一样，如果能将数据湖和数据仓库融合在一起就可以同时发挥二者的价值。数据湖和数
橙子!·2022-11-28 11:42

什么是数据中台？数据仓库、大数据平台又是什么？三者架构关系分析

智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、新零售平台、数据湖
年少有为2025·2022-11-28 11:06

数据湖概念辨析以及常见技术通览

这是大数据技术扫盲系列的第二篇【数据湖概念辨析以及常见技术通览】全文3000字，阅读需要10分钟一、数据湖概念的起源数据湖的概念被首次提出是在2010年的HadoopWorld大会上，时任Pentaho
IT转型指北·2022-11-27 21:32

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中

文章目录核心原理数据写写操作UPSERT写流程INSERT写流程INSERTOVERWRIT写流程Key生成策略删除策略写流程归纳数据读集成Spark使用环境准备spark-shell使用启动插入数据查询数据更新数据时间旅行查询增量查询指定时间点查询删除数据覆盖数据spark-sql使用启动创建表插入数据时间旅行查询更新数据删除数据覆盖数据其他核心原理数据写写操作UPSERT：默认行为，数据先通过
IT小神·2022-11-26 00:00

数仓，大数据平台，数据中台，数据湖

数据湖：狭义的概念：数据湖存储，存放各种格式的海量数据的地方广义的概念：除了数据存储之外，还包含数据的分析和管理，提供数据目录，数据服务以及统一的数据访问方式普通数据库特点：数据量小，数据保存时间短，支持
三月Eva·2022-11-24 23:51

大数据_湖仓一体:下一代存储解决方案

数据湖的出现是为了规避数据库的局限性，Spark是构建数据湖的最佳工具之一。但是，数据湖缺少数据库提供的一些关键功能（如ACID保证）。
Happy编程·2022-11-24 23:47

99页4万字XX大数据湖项目建设方案

数据范围与ETL2.1.4报表平台2.1.5安全管理2.1.6数据治理2.2非功能需求2.2.1运维保障需求2.2.2可用性需求2.2.3可靠性需求2.2.4性能需求2.3需求总结3整体解决方案3.1数据湖整体方案
数字化方案·2022-11-22 03:05

StarRocks从入门到精通系列一：StarRocks简介、系统架构和产品特性

系统架构和产品特性一、StarRocks简介二、系统架构1.FE2.BE3.数据管理三、产品特性1.MPP分布式执行框架2.全面向量化执行引擎3.CBO优化器4.可实时更新的列式存储引擎5.智能的物化视图6.数据湖分析一
勇敢羊羊在飞奔·2022-11-21 22:38

Lakehouse系列 | StarRocks 支持 Apache Hudi 原理解析

大量业务场景对数据仓库的实时性提出了更高的要求，Lakehouse架构逐渐被各大公司熟悉和接受，ApacheHudi（以下简称Hudi）、ApacheIceberg（以下简称Iceberg）、DeltaLake都被看成是下一代数据湖的解决方案
StarRocks_labs·2022-11-21 09:09

速报｜StarRocks亮相云栖大会，携手阿里云EMR 打造极速数据湖分析新体验

StarRocks面世两年多来不断迭代，一直专注于打造世界顶级的数据库产品，今年9月StarRocks社区正式发布StarRocks极速数据湖分析，开启了极速统一3.0时代。本次线下交流，为
StarRocks_labs·2022-11-21 09:38

成功的数据驱动型公司为什么会采用Data Mesh？

许多企业正在投资下一代数据湖，希望大规模普及数据以提供业务洞察力并最终做出自动化的智能决策。
LinkTime_Cloud·2022-11-21 09:36

坚持“专库专用”路线，亚马逊云科技加速布局数据库服务

显然，以亚马逊云科技为代表的云计算服务商，对于数据库最近十年的发展有着深远影响，不仅彻底改变了数据库的使用方式、理念，更是推动了数据仓库、数据湖、数据库智能技术的快速发展。
大数据在线·2022-11-21 03:05

阿里云数据湖分析简介和购买流程

什么是数据湖云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询
Yasser�·2022-11-20 17:59

大数据路线

一、概念部分1.1大数据、数仓、数据湖、中台的概念区别数仓数据湖使用场景批处理，BI，数据可视化机器学习、预测分析、数据分析Schema写入型读取型数据源类型OLTP为主的结构化数据loT，日志，各个端等结构非结构均可性价比需要快速查询
辉常努腻·2022-11-20 04:37

【软考系统架构设计师】2019年下系统架构师论文写作历年真题

软考系统架构设计师】2019年下系统架构师论文写作历年真题2019年系统架构师论文写作真题第一题（软件设计方法）2019年系统架构师论文写作真题第二题（系统架构评估）2019年系统架构师论文写作真题第三题（新技术数据湖
进击的横打·2022-11-19 11:11

2022年11月软考系统架构设计师考试论文--湖仓一体架构

1.什么是数据仓库、数据集市和数据湖？
sunlaji008·2022-11-19 11:37

大数据、数据仓库、数据湖、ELT和ETL、数据集成

什么是大数据？免费指南和定义知识中心»数据整合»什么是大数据？免费指南和定义……相关文章大数据与农业：完整指南大数据和隐私：公司需要知道什么才能确保可信数据优化大数据的5种方法供应链管理大数据政府大数据“大数据”一词在过去十年中开始出现在词典中，但这个概念本身至少从二战开始就已经存在。最近，无线连接、互联网2.0和其他技术使对海量数据集的管理和分析成为我们所有人的现实。大数据是指对于传统的数据处理
潇洒$¥半仙·2022-11-15 23:58

数据湖iceberg-day01-概念，特点，存储格式以及各种表中的演化，数据类型

数据湖iceberg-day011.1什么是数据湖1.1.1什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理
a-tao必须奥利给·2022-11-11 00:29

再谈数据湖3.0：降本增效背后的创新原动力

前言：2022年3月31日，阿里云全球数据湖峰会上，阿里云从“湖管理、湖存储和湖计算“这三个方面，为观众带来了“数据湖3.0”的重磅升级方案。
阿里云技术·2022-11-09 19:19

2w字详解数据湖：概念、特征、架构与案例

点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天10:33更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务
公众号-芋道源码·2022-11-05 14:32

大数据常见术语，你了解多少？

大数据常见术语一览主要内容包含以下（收藏，转发给你身边的朋友）雪花模型、星型模型和星座模型事实表维度表上钻与下钻维度退化数据湖UV与PV画像ETL机器学习大数据杀熟SKU与SPU即席查询数据湖数据中台ODS
大数据左右手·2022-11-03 11:54

Apache Flink Meetup · 上海站，超强数据湖干货等你！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主题，围绕湖仓一体架构实践、Iceberg
Apache Flink·2022-11-03 10:13

Spark+Flink+Iceberg打造湖仓一体架构实践探索

数据湖-大数据生态杀青数据仓库的痛点只能存储结构化数据，无法采集存储非结构化数据无法存储原始数据，所有的数据须经过ETL清洗过程离线数仓的数据表牵一发而动全身，数据调整工程量大实时数仓存储空间有限，无法采集和存储海量实时数据回溯效率低下
架构师老狼·2022-11-01 13:14

三天，撸完Flink+Hudi+Iceberg数据湖落地系统，爽！

最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。
Java团长在csdn·2022-11-01 13:43

基于Delta Lake构建数据湖仓体系

直播回放地址：https://developer.aliyun.com/live/249789导读：今天很高兴能与大家分享如何通过DeltaLake构建湖仓架构。全文将围绕以下四个部分展开：DeltaLake的基本概念和发展历程，以及2.0版本的关键特性DeltaLake的内核解析以及关键技术围绕DeltaLake湖格式的生态建设DeltaLake在数仓领域的经典案例DeltaLake及2.0特性
阿里云大数据AI技术·2022-11-01 13:43

数据湖之基于flink+hudi+hive的实践（一）

hudi可以兼容在hadoop基础之上存储海量数据，不仅可以进行批处理，还可以在数据湖上进行流处理，即离线与实时结合。
追风筝的少年-·2022-11-01 13:12

使用 Flink Hudi 构建流式数据湖

本文介绍了FlinkHudi通过流计算对原有基于mini-batch的增量计算模型不断优化演进。用户可以通过FlinkSQL将CDC数据实时写入Hudi存储，且在即将发布的0.9版本Hudi原生支持CDCformat。主要内容为：1.背景2.增量ETL3.演示一、背景近实时从2016年开始，ApacheHudi社区就开始通过Hudi的UPSERT能力探索近实时场景的使用案例[1]。通过MR/Spa
阿里云技术·2022-11-01 13:12

FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云

Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通Hadoop、hive，支持对数据record粒度的增删改查。
大数据点灯人·2022-11-01 13:42

Flink + Hudi，建设仓湖一体化解决方案

最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。
浪尖聊大数据-浪尖·2022-11-01 13:42

[数据湖] 基于flink hudi的批流一体实践

1、业务背景介绍广告主和代理商通过广告投放平台来进行广告投放，由多个媒介进行广告展示，从而触达到潜在用户。整个过程中会产生各种各样的数据，比如展现数据、点击数据。其中非常重要的数据是计费数据，以计费日志为依据向上可统计如行业维度、客户维度的消耗数据，分析不同维度的计费数据有助于业务及时进行商业决策，但目前部门内消耗统计以离线为主，这种T+1延迟的结果已经无法满足商业分析同学的日常分析需求，所以我们
zxfBdd·2022-11-01 13:42

实时数据湖 Flink Hudi 实践探索

所以，今天我介绍的主题是Flink和Hudi在数据湖Streaming方向的一些探索和实践，将会围绕以下四点展开：ApacheHudi背景介绍FlinkHudi设计Hudi应用
阿里云大数据AI技术·2022-11-01 13:41

【Apache Spark 】第 9 章使用 Apache Spark构建可靠的数据湖

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-10-22 07:00

数据湖及湖仓一体化项目学习框架

文章目录数据湖及湖仓一体化项目学习框架前言一、数据湖基础知识介绍1、数据湖技术Hudi2、数据湖技术Iceberg二、湖仓一体化项目数据湖及湖仓一体化项目学习框架前言利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂
Lansonli·2022-10-18 17:26

Hudi

目录数据湖技术选型-Hudi；Iceberg；DataLakeHudiHudi的前世今生：1.1.1什么是ApacheHudi1.1.2Hudi支持的文件格式1.1.3表格式1.1.2使用Hudi的优点
xu-ning·2022-10-18 17:23

KLOOK客路旅行基于Apache Hudi的数据湖实践

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统1.业务背景介绍客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当
[虚幻私塾】·2022-10-18 17:49

漫说数据湖——如何建湖？如何做数据ETL？为什么大数据需要数据湖？

作者|友创云天来源|http://t.hk.uy/bt5数据湖概述数据湖这一概念，最早是在2011年由CITOResearch网站的CTO和作家DanWoods首次提出。
zhisheng_blog·2022-10-18 08:53

大数据精品栏目介绍

文章目录博客精品栏目介绍一、大数据入门核心技术二、数据湖基础+湖仓一体电商项目三、大数据OLAP技术体系四、客快物流大数据项目五、大数据进阶知识六、大数据调度系统七、数据治理博客精品栏目介绍一、大数据入门核心技术大数据入门核心技术栏目里集合
Lansonli·2022-10-12 07:38
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他