数据湖

数据库、数据仓库和数据湖

数据库和数仓的本质区别？数据库Database(Oracle,Mysql,PostgreSQL)主要用于事务处理，数据仓库Datawarehouse(AmazonRedshift,Hive)主要用于数据分析。为什么使用数仓？举个最常见的例子，拿电商行业来说好了。基本每家电商公司都会经历，从只需要业务数据库到要数据仓库的阶段。*电商早期启动非常容易，入行门槛低。找个外包团队，做了一个可以下单的网页前
三半俊秀·2023-02-17 23:01

惟客数据解读：数据湖、数据仓库、数据中台究竟区别在哪儿？

数字化转型浪潮卷起各种新老概念满天飞，数据湖、数据仓库、数据中台轮番在朋友圈刷屏，有人说“数据中台算个啥，数据湖才是趋势”，有人说“再见了数据湖、数据仓库，数据中台已成气候”……企业还没推开数字化大门，
惟客数据·2023-02-17 16:13

通过日志服务实现数据库MySQL入湖OSS实践

阿里云提供了企业级的数据湖解决方案，存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能，实现数据的端到端的入湖。
·2023-02-16 20:57

推荐好文：深度对比 Delta、Iceberg 和 Hudi 三大开源数据湖方案（附最新更新）

这篇文章深度对比了3种开源数据湖技术，对每个技术的优缺点做了详细对比。不过当前2022年初，社区情况有了一些变化，会列在文后。
曲奇饼·2023-02-06 04:47

基于 DataLakeAnalytics 的数据湖实践

随着软硬件各方面条件的成熟，数据湖(DataLake)已经越来越受到各大企业的青睐,与传统的数仓实践不一样的是，数据湖不需要专门的“入仓”的过程，数据在哪里，我们就从哪里读取数据进行分析。
xumingmingv·2023-02-06 02:12

数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

转载自：https://mp.weixin.qq.com/s/vHaiO_ceTxSPdJNlM9ZMJA#at索性我们就来个专题，聊透数据库、数据仓库、数据湖以及风头正劲的“Lakehouse”——湖仓一体化
Jimmy2019·2023-02-03 21:00

2022 年，这 20+22 位共建者闪耀 StarRocks 社区

主键模型、全新的Pipeline计算调度引擎、JavaUDF、数据湖分析加速、外部数据目录支持、多表物化视图、存算分离等呼声甚高的功能，一一被实现和提升。非凡成
StarRocks_labs·2023-02-03 17:32

如何快速构建企业级数据湖仓？

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群本文整理自火山引擎开发者社区技术大讲堂第四期演讲，主要介绍了数据湖仓开源趋势、火山引擎EMR的架构及特点，以及如何基于火山引擎
字节数据平台·2023-02-03 10:43

数据湖是谁？那数据仓库又算什么？

数据湖初识近两年，为什么都开始谈论起DataLake这个”新名词”了？
大数据技术派·2023-02-03 07:55

信息系统基础

信息系统工程总体规划方法论2.信息系统的生命周期和各阶段的目标三.政府信息化与电子政务1.电子政务的组成2.电子政务的内容3.企业源计划（ERP）4.客户关系管理(CRM)5.供应链管理（SCM）6.数据仓库7.数据湖四
superSmart_Dong·2023-02-01 09:52

干货！Apache Hudi如何智能处理小文件问题

欢迎关注微信公众号：ApacheHudi1.引入ApacheHudi是一个流行的开源的数据湖框架，Hudi提供的一个非常重要的特性是自动管理文件大小，而不用用户干预。
xleesf·2023-01-31 22:50

spark 把一列数据合并_Delta Lake 和 Apache Hudi 两种数据湖产品全方面对比

DeltaLake是数砖公司在2017年10月推出来的一个项目，并于2019年4月24日在美国旧金山召开的Spark+AISummit2019会上开源的一个存储层。它是DatabricksRuntime重要组成部分。为ApacheSpark和大数据workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制(optimisticconcurrencycontrol)，在写入数据期间
weixin_39806065·2023-01-31 22:20

Hudi系列1:Hudi介绍

文章目录一.什么是Hudi二.发展历史三.Hudi功能和特性四.Hudi基础架构五.使用公司六.小结参考:一.什么是HudiApacheHudi（发音“hoodie”）是下一代流数据湖平台。
只是甲·2023-01-31 22:18

基于Apache Hudi + MinIO 构建流式数据湖

ApacheHudi是一个流式数据湖平台，将核心仓库和数据库功能直接引入数据湖。
zxfBdd·2023-01-31 22:18

Hudi小文件问题处理和生产调优个人笔记

目前笔者在生产中已经将重要的生产日志和操作记录同步到了数据湖中。你可以在这里找到Hudi更多的资料：https://hudi.apache.org/cn/docs/
王知无(import_bigdata)·2023-01-31 22:18

【HuDi】B站增量数据湖探索与实践

我们在探索和实践增量数据湖的过程中遇到许多痛点，如时效性、数据集成同步和批流一体的存储介质不统一的问题。本文将介绍我们针对这些痛点所进行的思考与实践方案。
九层之台起于累土·2023-01-31 22:18

【Hudi】Apache Hudi如何智能处理小文件问题

1.引入ApacheHudi是一个流行的开源的数据湖框架，Hudi提供的一个非常重要的特性是自动管理文件大小，而不用用户干预。
九层之台起于累土·2023-01-31 22:17

flink cdc 整合 数据湖hudi 同步 hive

1.版本说明组件版本hudi10.0flink13.5hive3.1.02.实现效果通过flinkcdc整合hudi到hiveflinkcdc讲解flinkcdc1.2实例flinkcdc2.0实例3.flink需要的jar包需要的包：flink-connector-mysql-cdc-2.0.2.jar-rw-r--r--1rootroot78023992月1600:36doris-flink-
wudl·2023-01-31 12:30

技术架构

摄像头视觉识别人机界面、语音交互人机界面2.逻辑层：面向对象技术/组件技术/SOA服务中间件/微服务中间件技术、人工智能NLP/机器学习3.数据层：SQL数据库/NOSQL数据库、大数据计算平台/数据仓库数据湖
spring_m·2023-01-31 08:32

基于EMR的新一代数据湖存储加速技术详解

摘要：本文整理自阿里云开源大数据平台数据湖存储团队孙大鹏在7月17日阿里云数据湖技术专场交流会的分享。
阿里云大数据AI技术·2023-01-30 15:54

Data Lakehouse (湖仓一体) 到底是什么

0、背景DataLakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性
Impl_Sunny·2023-01-30 07:06

湖仓一体数据平台架构

随着数字化技术的更新迭代，数据库、数据仓库、数据湖等各种概念层出不穷，MPP数据库、Hadoop、对象存储、Hudi等各种数据技术不断涌现，湖仓一体概念逐步被人们所关注，在国际知名机构Gartner发布的
zxfBdd·2023-01-30 07:05

什么是湖仓一体

数据湖回顾在之前的文章《什么是数据湖》中提到数据湖遇到的几个挑战：什么是数据湖_白月蓝山的博客-CSDN博客不支持事务，缺乏对数据质量和治理的约束，缺乏性能优化的手段。
zxfBdd·2023-01-30 07:05

湖仓一体解决方案

数据湖产生的背景由于云技术的推动，企业对于跨公司、跨行业、跨领域的综合型数据的需求日趋明显，不同类型、格式数据之间的关联性碰撞越来越激烈，刺激着数据技术的创新发展，逐渐形成了大数据生态结构。
yu.minxue·2023-01-30 07:35

什么是数据湖？为什么需要数据湖？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。
Shockang·2023-01-30 07:28

湖仓一体（Lakehouse）是什么？

本专栏目录结构和参考文献请见大数据理论体系WHAT湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。关于数据仓库请参考我的这篇博客——数据仓库是什么？
Shockang·2023-01-30 07:56

2019年IT关注的重点：大数据分析的存储架构

行业媒体对2019年企业数据存储预测的存储技术专家和分析师小组进行了调查，许多人表示，企业IT组织将专注于更好的方法来分析、使用和管理数据湖中的所有信息。他们的努力将包括在越来越多的旨在集成
WorkingData·2023-01-29 14:30

数仓调研app

/mp.weixin.qq.com/s/9roKSYt9FsZ86hmumbxM-ghttps://mp.weixin.qq.com/s/Mhc_vTyR9a9F1BE9uoI9Ww抛弃Hadoop，数据湖才能重获新生
空凯空凯空空凯·2023-01-26 11:32

可视化处理 | ArcGIS和经济引力模型的城市联系度分析

一、数据来源介绍（一）湖北省各地市行政边界数据湖北省各地市行政边界数据来源于中国科学院资源环境科学与数据中心（https://www.resdc.cn/Default.aspx）。
GIS前沿·2023-01-22 14:49

干货 | 携程酒店实时数仓架构和案例

作者简介秋石，携程数据仓库专家，关注大数据、数据仓库、数据治理等领域；九号，携程数据技术专家，关注数据仓库架构、数据湖、数据治理；魁伟，携程资深数据工程师，关注实时&离线大数据产品及技术。
携程技术·2023-01-18 09:29

一、数据仓库基础理论

数据仓库基础理论一、数据仓库1、概念2、数据仓库分层结构3、为什么要分层二、数据集市三、数据湖1、数据湖和数据仓库一、数据仓库1、概念数据仓库（DataWarehouse,DW）：一个面向主题的、集成的
长不大的大灰狼·2023-01-12 12:29

Hudi学习一：Hudi简介

Hudi用于管理的数据库层上构建具有增量数据管道的流式数据湖，同时针对湖引擎和常规批处理进行了优化。
Hub-Link·2023-01-11 21:26

如何打造一款极速数据湖分析引擎

作者阿里云EMR开源大数据OLAP团队StarRocks社区数据湖分析团队前言随着数字产业化和产业数字化成为经济驱动的重要动力，企业的数据分析场景越来越丰富，对数据分析架构的要求也越来越高。
Apache Spark中国社区·2023-01-10 21:44

StarRocks|Doris业内工程实践整理

https://www.modb.pro/db/3948982、阿里云强力贡献：如何让StarRocks做到极速数据湖分析https://www.modb.pro/db/3943353、众安保险xStarRocks
Haven.Liu·2023-01-10 21:11

腾讯云存储产品全线升级，满足更多高性能存储场景

12月1日，在2022腾讯全球数字生态大会存储专场上，腾讯云发布了多款云存储产品能力上新，并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享，为广大企业实现数字化转型和业务创新提供参考借鉴
·2023-01-10 14:32

数据湖技术之iceberg

Iceberg使用一种类似于SQL表的高性能表格式，Iceberg格式表单表可以存储数十PB数据，适配Spark、Trino、Flink和Hive等计算引擎提供高性能的读写和元数据管理功能，Iceberg是一种数据湖解决方案
不知名的。。。·2023-01-10 10:38

数据仓库构建方法论和简单实践

数据仓库的价值构思一个主题讨论数据仓库的构建方法论，包括数据仓库的价值、选型、构建思路，随着数据规模膨胀和业务复杂度的提升，大型企业需要构建企业级的数据仓库（数据湖）来快速支撑业务的数据化需求，与传统的数据库构建不通
小晨说数据·2023-01-06 01:52

基于Delta Lake构建数据湖仓体系

直播回放地址：https://developer.aliyun.com/live/249789导读：今天很高兴能与大家分享如何通过DeltaLake构建湖仓架构。全文将围绕以下四个部分展开：DeltaLake的基本概念和发展历程，以及2.0版本的关键特性DeltaLake的内核解析以及关键技术围绕DeltaLake湖格式的生态建设DeltaLake在数仓领域的经典案例DeltaLake及2.0特性
·2023-01-05 18:29

PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘

导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到PB至EB级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？
·2023-01-05 12:22

2022 年，这 20+22 位共建者闪耀 StarRocks 社区

主键模型、全新的Pipeline计算调度引擎、JavaUDF、数据湖分析加速、外部数据目录支持、多表物化视图、存算分离等呼声甚高的功能，一一被实现和提升。非凡成
·2023-01-03 14:05

如何在 TiDB Yun 上使用 Databricks 进行数据分析

Databricks的数据湖仓架构集成了业界最优秀的数据仓库和数据湖。
LCHub低代码社区·2023-01-03 09:17

阿里资深架构师 独家 | 关于数据湖架构、战略和分析的8大错误认知

本文打破有关数据湖的8个错误认知，错误认知包括3方面，还提出了5个小技巧，以构建一个灵活的、可交付业务价值的数据湖。本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。
天秤座的架构师·2022-12-30 17:29

数据湖架构、战略和分析的8大错误认知

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源翻译：张玲校对：丁楠雅本文打破有关数据湖的8个错误认知，错误认知包括3方面，还提出了5个小技巧，以构建一个灵活的、可交付业务价值的数据湖。
王知无(import_bigdata)·2022-12-30 17:29

关于数据湖架构、战略和分析的8大错误认知（附链接）

大数据文摘授权转载自数据派THU编译：张玲、丁楠雅本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。咨询公司和提供商提出的意见相互矛盾，因此，这些信息历来一直不透明，令人困惑。
BigDataDigest·2022-12-30 17:58

独家 : 关于数据湖架构、战略和分析的8大错误认知（附链接）

本文打破有关数据湖的8个错误认知，错误认知包括3方面，还提出了5个小技巧，以构建一个灵活的、可交付业务价值的数据湖。本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。
数据分析v·2022-12-30 17:58

数据湖正成为新的数据仓库

作者：JamesKobielus是Wikibon公司研究AI、数据科学和应用软件开发的首席分析师。像AWSLakeFormation和DeltaLake这类平台正成为用于决策支持和AI驱动型决策自动化的治理中心。数据仓库是再度扮演重要角色，还是说奄奄一息？如果你在这个问题上有点困惑，那也情有可原。一方面，数据仓库无疑似乎炙手可热。作为一名长期的行业观察人士，我看到这个行业创新不断，创业活动高潮迭起
新睿云.任义兵·2022-12-30 17:58

数据湖仓这对CP有了新进展，亚马逊云科技“智能湖仓”来了

导读：在大数据领域，数据仓库和数据湖就像一对CP，缺一不可且优势互补。社会发展到今天，全世界每个小时产生的数据已经比20年前每年产生的数据还要多。
AImatters·2022-12-30 17:28

大咖分享 | 如何构建 Alluxio 审计日志分析系统

本文作者：耿云涛本文作者：葛大力大数据技术日新月异，数据湖、数据中台、逻辑数据湖、数据编织、数据编排等数据建设理念不断出现、深化，究其根本依然是如何能够将数据规整起来，以统一的规范对数据的脉络进行梳理，
Alluxio·2022-12-30 09:59

【Iceberg＋Alluxio】助力加速数据通道（上篇）

作者简介陈寿纬：Alluxio软件工程师，在Alluxio主要负责数据湖方案结合、结构化数据与高可用性优化等相关工作。
Alluxio·2022-12-30 09:28

B站基于Iceberg+Alluxio助力湖仓一体项目落地实践

当前B站急需一套技术架构，在拥有数据湖灵活性的同时又具备数仓的高效性，在这样的背景之下开始探索
Alluxio·2022-12-30 09:57
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他