数据湖第5页

5 Paimon数据湖之表数据查询详解

大数据徐葳·2023-11-10 13:33

4 Paimon数据湖之Hive Catalog的使用

大数据徐葳·2023-11-10 13:32

3 Paimon数据湖中的表类型详解

大数据徐葳·2023-11-10 13:32

6 Hive引擎集成Apache Paimon

大数据徐葳·2023-11-10 12:18

如何将SAP数据集成到任意云平台

五年前，变成了数据湖和机器学习。现在一切都是关于数据集成，当然还有人工智能。有时处理数据的基本方法已经改变或者发展。有时只是名字的改变。

snpgroupcn·2023-11-10 08:49

数据湖浅析(以hudi为例)

数据湖定义业界对于数据湖的定义存在一定争议，个人认为数据湖就是针对传统hive数仓不支持acid、upsert、schemaevolution等痛点上，提出的一种数据存储库。

weixin_45626756·2023-11-10 06:44

【Azure Data Platform】数据平台的选择

AzureDataPlatform】DedicatedSQLPool——导入性能测试（4）——总结本文谈一下数据平台的选择前言云计算已经被广泛接受和使用，那么在关于数据平台方面，很多人会关心数据库，数据仓库，和数据湖的关系

發糞塗牆·2023-11-09 23:59

流式数据湖Hudi核心概念四：文件布局

1.Hudi表文件存储结构Hudi将一个表映射为如下文件结构Hudi存储分为两个部分：元数据和数据2.元数据存储元数据：.hoodie目录对应着表的元数据信息，包括表的版本管理（Timeline

shangjg3·2023-11-09 14:57

1 快速了解Paimon数据湖核心原理及架构

目前业内主流的数据湖存储项目都是面向批处理场景设计的，在数据更新处理时效上无法满足流式数据湖的需求，因此Flink社区在2022年的时候内部孵化了FlinkTableStore（简称FTS）子项目，一个真正面向流以及实时的数据湖存储项目

大数据徐葳·2023-11-09 07:58

Databend + lakeFS：将数据版本控制嵌入你的分析工作流

ChojanShang)·GitHub云计算为以数据为中心的应用提供了廉价、弹性、共享的存储服务，这为现代数据处理工作流提供了显而易见的好处：海量数据、高并发访问、大吞吐量，越来越多的案例开始将旧有的技术栈向数据湖架构进行迁移

Databend·2023-11-08 20:08

阿里云认证 | 2023年ACP认证考试大揭秘

它涵盖了大数据计算服务、大数据开发与治理平台、实时计算、实时数据仓库、检索分析服务、数据湖、大数据分析与可视化等多个方面的内容。

HCIE考证研究所·2023-11-08 16:24

Hudi学习3：数据湖主流架构

deltaLakeIcebergiceberg表可以扩展Hudi支持flink，并且支持快速upsert/delete

hzp666·2023-11-08 04:40

达梦DMETL快速入门

DMETL创新的将传统ETL工具与分布式大数据处理平台相结合，实现对数据同步、数据处理以及数据共享交换的一站式服务，适合数据中心、数据仓库和数据湖的建设与运维等应用场景。

lushanglou·2023-11-08 03:12

【hcie-cloud】【2】华为云Stack解决方案介绍、缩略语整理【下】

文章目录华为文档获取方式、云计算发展背景、坚实基座华为云Stack，政企只能升级首选智能数据湖仓一体，让业务洞见更准，价值兑现更快MRS：一个架构可构建三种数据湖，业务场景更丰富离线数据湖：提供云原生、

҉人间无事人·2023-11-07 08:55

火山引擎云原生存储加速实践

字节跳动云原生计算·2023-11-07 05:32

Iceberg数据湖的Table、Catalog、Hadoop配置Configuration

目录1.Configuration1.1tableproperties1.1.1Readproperties1.1.2Writeproperties1.1.3Tablebehaviorproperties1.1.4Reservedtableproperties1.1.4Compatibilityflags1.2Catalogproperties1.2.1Lockcatalogproperties1

Bulut0907·2023-11-05 23:52

数据平台、大数据平台、数据中台

数字化运营不同阶段，运营手段各尽所能随着大数据技术的不断更新与迭代，数据管理工具得到了飞速的发展，从数据库、数据仓库、数据集市与数据湖，再到大数据平台与如今的数据中台，其实将它们比喻成一场“数据的旅程”

DemonHunter211·2023-11-05 23:37

数据湖 Iceberg 在小米的应用

导读本次分享内容是数据湖Iceberg在小米的应用场景。

架构师小秘圈·2023-11-05 23:34

Flink + Iceberg 数据湖探索与实践

01数据仓库平台建设的痛点痛点一：我们凌晨一些大的离线任务经常会因为一些原因出现延迟，这种延迟会导致核心报表的产出时间不稳定，有些时候会产出比较早，但是有时候就可能会产出比较晚，业务很难接受。为什么会出现这种现象的发生呢？目前来看大致有这么几点要素：任务本身要请求的数据量会特别大。通常来说一天原始的数据量可能在几十TB。几百个分区，甚至上千个分区，五万+的文件数这样子。如果说全量读取这些文件的话，

'煎饼侠·2023-11-05 22:58

大数据平台之数据存储

文章目录1.大数据生态技术2.数据存储3.数据存储的发展3.1数据仓库3.2数据湖4.数据存储的方式4.1批处理的数据存储4.2实时处理的数据存储1.大数据生态技术数据存储处理:清洗,关联,规范化,组织建模

959y·2023-11-05 22:25

数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)

PartitionEvolution）列顺序演化（SortOrderEvolution）隐藏分区（HiddenPartition）镜像数据查询（TimeTravel）支持事务（ACID）基于乐观锁的并发支持文件级数据剪裁其他数据湖框架的对比存储结

迷雾总会解·2023-11-05 22:25

Apache Flink 在实时金融数据湖的应用

摘要：本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。

Apache Flink·2023-11-05 17:51

数据仓库之面试

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程

2a0eebe006e6·2023-11-04 09:56

Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库

这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上，用户可以构建各种应用，如用户行为分析、AB测试平台

yue_stack·2023-11-04 05:32

[架构之路-250/创业之路-81]：目标系统 - 纵向分层 - 企业信息化的呈现形态：常见企业信息化软件系统 - 企业内的数据与数据库

数据库的基本概念1.7企业数据来源1.8企业数据架构二、常见的数据库类型2.1数据库分类2.1数据库类型2.2常见的数据库类型、应用场合和案例三、数据库、数据仓库和主题数据库比较3.1基本概念3.2比较3.3数据湖与数据仓库备注

文火冰糖的硅基工坊·2023-11-02 17:04

十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？

高并发、高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖

代码讲故事·2023-11-01 13:11

【大数据概述】Hadoop技术栈

与关系型数据库关系3.Hadoop3.1.概述3.2.Hadoop生态技术3.2.1.概述3.2.2.架构4.Spark4.1.概述4.1.1.统一的引擎5.数据存储及处理的发展5.1.数据仓库5.2.数仓+数据湖

vk-fengz·2023-10-28 21:17

新手向：如何考虑将数据库技术和大数据框架结合使用？

数据湖构建：随着各种数据源的增加，组织需要一个集中的存储解决方案。大数据

Joy T·2023-10-28 21:23

使用FLINK SQL从savepoint恢复hudi作业（flink 1.13）

flink-savepoint介绍接下来我们从FlinkSQLClient构建一个mysqlcdc数据经kafka入hudi数据湖的例子。

BigDataToAI·2023-10-27 11:28

Hudi数据湖-基于Flink、Spark湖仓一体、实时入湖保姆级教学

目录Hudi源码编译Hudi扫盲基于Spark-shell集成Hudi基于Spark-Hive集成Hudi手动创建HIVE表基于SparkSQL集成Hudi自动创建HIVE表基于FlinkSQL集成Hudi基于FlinkSQL-HIVE集成Hudi手动创建HIVE表基于FlinkSQL集成Hudi-自动创建Hive表基于FlinkCDC采集MySQL写入Hudi基于FlinkCDC采集Postgr

笑一笑、·2023-10-27 01:04

Hudi的介绍与安装编译

Hudi的介绍安装Maven编译Hudi执行编译Hudi的介绍Hudi简介Hudi（HadoopUpsertsDeleteandIncremental）是下一代流数据湖平台。

open_test01·2023-10-27 01:31

数据流程data pipeline, 2022-08-16

(2022.08.16Tues)数据流程是一种将数据从不同的原始数据源收集和引入到数据存储(如数据湖、datawarehouse)并用于数据分析等工作的方法。

Mc杰夫·2023-10-26 22:05

软信天成：今天的企业比以往任何时候都更需要「数据编目」

在当今的组织中，数据是多样的，分布在许多不同的部门、应用系统、数据仓库和数据湖（一些在内部，其他在云中），因此，准确地知道您拥有哪些数据和它们在哪里是一个挑战。

软信数据研究院·2023-10-26 09:28

2023 年最佳开源软件

上榜的25个软件涵盖编程语言、运行时、应用程序框架、数据库、分析引擎、机器学习库、大型语言模型(LLM)、用于部署LLM的工具等领域ApacheHudi在构建开放式数据湖或湖仓一体时，许多行业都需要一个更可发展和可变化的平台

ejinxian·2023-10-26 07:15

2022年全新数据仓库面试总结大全

数据仓库一、数据仓库概述首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。1、什么是数据库？数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。

蜀州凯哥·2023-10-25 16:01

Apache Doris 极速数据湖分析深度解读

在最初的概念里，数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策」，而数据湖最初是为了解决数仓无法存储海量且异构的数据而构建的集中式存储系统。

SelectDB技术团队·2023-10-23 22:46

数据湖和数据仓库的建设，到底为了什么？由此产生的岗位区别在哪

数据湖这个大坑，是怎么挖的？数据在刚刚开始的时候，还是小体量，就好比创业公司，还不足够引起人们的注意。但是当数据体量上来了，就好像变成了独角兽。

大数据的那些事·2023-10-23 18:15

AWS的一些概念：S3、EC2、Lambda、CodeBuild

各种规模和行业的客户都可以使用AmazonS3存储和保护任意数量的数据，用于数据湖、网站、移动应用程序、备份和恢复、归档、企业应用程序、IoT设备和大数据分析。

忙碌且充实·2023-10-23 04:43

关于数据湖架构、战略和分析的8大错误认知

本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。咨询公司和提供商提出的意见相互矛盾，因此，这些信息历来一直不透明，令人困惑。

公众号:肉眼品世界·2023-10-21 11:52

独家 | 关于数据湖架构、战略和分析的8大错误认知（附链接）

本文打破有关数据湖的8个错误认知，错误认知包括3方面，还提出了5个小技巧，以构建一个灵活的、可交付业务价值的数据湖。本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。

「已注销」·2023-10-21 10:39

使用 ClickHouse 深入了解 Apache Parquet （一）

这种采纳使其成为更近期的数据湖格式的基础，例如ApacheIceberg。在这个博客系列中，我们探讨如何使用ClickHouse读写这种格式，然后更详细地

沃趣数据库管理平台·2023-10-20 17:01

大数据之力：从数据湖到数据智能的升级之路

文章目录什么是数据湖？什么是数据智能？

IT·陈寒·2023-10-20 12:35

基于Delta Lake的Upserts数据湖方案

DeltaLake是基于ApacheSpark的下一代数据湖存储引擎，支持Merge命令，可以高效的完成upsert或删除。1为什么需要Upserts?

AllenGd·2023-10-20 01:50

【转】数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

这套架构，以数据湖为中心，把数据湖作为中央存储库，再围绕数据湖建立专用“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务

万州客·2023-10-19 22:56

科杰科技：基于湖仓一体架构的Hudi技术实现

一湖仓一体架构的定义和特点湖仓一体架构是一种结合数据湖和数据仓库的数据管理架构。它的核心思想是将数据湖和数据仓库合并为一个整体，实现数据的统一管理和分析。

科杰科技·2023-10-19 17:34

基于flink 的LakeHouse 2.0湖仓一体架构

基于flink的LakeHouse2.0湖仓一体架构简介Lakehouse是一种结合了数据湖和数据仓库优势的新范式，解决了数据湖的局限性。

活在风浪里~·2023-10-19 17:03

湖仓一体架构的特性

湖仓一体架构是一种数据架构模式，具有以下特性：统一存储：湖仓一体架构将数据湖和数据仓库合并为一个整体，将结构化数据和非结构化数据存储在同一个存储系统中，如Hadoop分布式文件系统（HDFS）或云存储服务

abckingaa·2023-10-19 17:55

滴滴 OrangeFS 数据湖存储关键技术揭秘！

2015年，滴滴为解决小文件和图片的存储，成立GIFT小对象存储项目。伴随着业务不断成长，我们面临的挑战也越来越多，经历多次非结构化存储架构演进，具体如下图所示：随着公司不断发展，滴滴的业务有两个发展的趋势：云原生技术战略和新业务涌现，都给存储系统带来了新的挑战。在云原生战略中，业务的极致弹性是提高资源利用率降低成本的一个目标。保障极致弹性的基础是容器的轻量化，而要实现容器的轻量化就必须实现存算分

滴滴技术·2023-10-19 06:32

大数据数仓搭建-大数据用户画像推荐系统搭建

老姜的数据江湖·2023-10-18 21:10

AWS Boto3 S3对象上传与下载