数据湖

兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册

ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。
vvvae1234·2024-09-11 19:17

大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案

大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案项目背景和目标项目背景项目目标建设原则与策略数据中台架构设计整体架构设计思路数据采集层数据存储层数据计算层数据服务层数据中枢功能实现数据治理功能数据资产管理功能数据安全管控功能数据服务总线功能数据湖存储与计算方案数据湖存储架构设计数据湖计算框架选择数据湖应用场景分析数据湖安全与合规性
数字化建设方案·2024-09-11 04:26

数据库，数据仓库，数据湖，湖仓一体到底是什么区别

昨天结束的一场面试，面试官问了下我对数据仓库和数据湖的理解，根据之前的理解我说了下数据湖是数据仓库某些时候的缓存，然后面试官反问说我确定这个用词对吗？
大数据小尘·2024-09-10 14:46

数仓还是湖仓？专家圆桌深度解析

这起收购也突显了数据湖表格式在现代数据分析架构中的关键地位。
StarRocks_labs·2024-09-08 19:49

CDC 数据实时同步入湖的技术、架构和方案汇总

近期，对“实时摄取CDC数据同步到数据湖”这一技术主题作了一系列深入的研究和验证，目
Laurence　·2024-09-05 18:33

（二十）Flink Paimon

数据湖、湖仓一体是当前大数据领域技术发展的重要趋势。
springk·2024-08-27 16:38

Apache Doris + Iceberg 快速搭建指南｜Lakehouse 使用手册（三）

湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。
SelectDB技术团队·2024-08-24 10:25

关于Apache Iceberg

ApacheIceberg是一种为大数据湖设计的现代化、开放式的表格式。要理解它，我们先来看看它要解决的问题以及为什么需要它。
[听得时光枕水眠]·2024-08-23 02:33

Apache Paimon毕业，湖仓架构的未来发展趋势！

经过社区的共同努力和持续创新，ApachePaimon在构建实时数据湖与流批处理技术领域取得了重大突破，数据湖步入实时新篇章！恭喜Paimon进入一个新的篇章，这篇文章也是我个人结合当前
王知无(import_bigdata)·2024-08-22 07:08

什么是湖仓一体

数据湖回顾在之前的文章《什么是数据湖》中提到数据湖遇到的几个挑战：不支持事务，缺乏对数据质量和治理的约束，缺乏性能优化的手段。
修破立生·2024-08-21 21:03

数据仓库和数据湖的区别

数据仓库和数据湖是两种不同的数据存储和管理架构，它们有以下区别：1.数据结构：数据仓库采用结构化的数据模型，通常是规范化的关系型数据库，其中数据以表格形式组织，使用预定义的模式和架构。
图灵追慕者·2024-02-28 02:10

我该建数仓、大数据平台还是数据中台？看完脑子终于清醒了

智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖
zl1zl2zl3·2024-02-20 05:30

Amazon Web Services -- 全球云计算领导者

AmazonWebServices--全球云计算领导者AmazonWebServices--全球云计算领导者、云基础设施与平台服务（Iaas&PaaS）领导者；计算、存储和数据库等基础设施技术，到机器学习、人工智能、数据湖和分析以及物联网等新兴技术
·2024-02-19 16:06

云计算 - 对象存储服务OSS技术全解

从媒体存储到数据备份，再到数据仓库与数据湖，我们不仅解析了OSS在各种应用场景下的关键角色，还深入讨论了其与机器学习、多媒体处理以及日志和监控等多个开发场景的结合。
·2024-02-11 18:21

数据湖的整体思路

当数据湖成为中心，那么就可以围湖而建“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务等等。
zhang菜鸟·2024-02-08 22:19

Spark streaming写入delta数据湖问题

但项目上线到生产环境，检查sparkstreaming的job，发现数据在merge写入到数据湖时，往往超过1小时。
kk_io·2024-02-08 10:01

Spark streaming batch运行时间过长问题02

排查Sparkstreaming数据写入时间过长问题，一方面是因为程序写数据湖小文件问题。在解决了小文件问题后，还是不能达到预期的1分钟一个batch。
kk_io·2024-02-08 10:01

2022-02-07 Iceberg源码阅读（一）

数据湖是近年来比较火热的领域，ApacheIceberg被誉为数据湖技术“三剑客”（DeltaLake、Hudi、Iceberg）之一，而iceberg高度抽象和优雅的设计成为了它最吸引人的优势，这一点也是我阅读
星路旅行者·2024-02-08 07:23

数据湖与数据仓库

一、数据湖的定义维基百科上定义，数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。
四月天03·2024-02-07 05:36

Flink CDC 与 Kafka 集成：State Snapshot 还是 Changelog？Kafka 还是 Upsert Kafka？

我们知道，尽管FlinkCDC可以越过Kafka，将关系型数据库中的数据表直接“映射”成数据湖上的一张表（例如Hudi等），但从整体架构上考虑，维护一个Kafka集群作为数据接入的统一管道是非常必要的，
　Laurence·2024-02-06 08:52

数据湖Paimon入门指南

一、主键表（PrimaryKeyTable）MergeEnginessink-upsert-realize可能会导致不正常的现象。当输入乱序时，我们建议您使用序列字段来纠正无序。建议设置为Nonesettable.exec.sink.upsert-materialize=NONEDeduplicate（重复数据消除）如果用户建表时不指定merge-engine配置,创建的PK表默认的MergeEn
实时即未来·2024-02-05 21:18

Hudi学习1：概述

1.小文件处理2.增加支持update、delete等操作3.实时数据写入以下是官方点介绍：ApacheHudi是一个支持插入、更新、删除的增量数据湖处理框架，有两种表类型：COW和MOR，可以自动合并小文件
hzp666·2024-02-05 14:59

flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive

但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。所以说为了兼容Hivemetastore，Hudi需要实时从
阿华田512·2024-02-05 08:46

【读红宝书（一）】背景知识

最近，HDFS领域出现了另一个值得讨论的重点，即“数据湖”。HDFS集群（目前大多数企业已经投资并希望找到对他们有用的东西）的合理使用是作为已摄取的数据文件队列。
三半俊秀·2024-02-04 23:41

Fink CDC数据同步（六）数据入湖Hudi

数据入湖HudiApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
大数据_苡~·2024-02-04 16:21

初识Apache Paimon

第0章前言0.1主流数据湖工具Delta：由Spark背后商业公司Databricks出品，因此很多功能强兼容Spark，对其他计算引擎不是很友好。
Racin_01·2024-02-03 12:30

数据湖系列之一 | 你一定爱读的极简数据平台史，从数据仓库、数据湖到湖仓一体

从数据仓库、数据湖，到现在的湖仓一体，业界建设数据平台的新方法和新技术层出不穷。理解这些方法和技术背后隐藏的演进脉路、关键问题、核心技术原理，可以帮助企业更好地建设数据平台。
百度智能云技术站·2024-02-02 23:04

实时数据湖：Flink CDC流式写入Hudi

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、Hadoop3.1.3、Hive3.1.22.FlinkCDC写入HudiMySQL建表语句如下createtableusers(idbigintauto_incrementprimarykey,namevarch
王知无(import_bigdata)·2024-02-02 12:01

Flink CDC 详述实时数据湖

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
000X000·2024-02-02 12:01

使用 Flink Hudi 构建流式数据湖

摘要：本文介绍了FlinkHudi通过流计算对原有基于mini-batch的增量计算模型不断优化演进。用户可以通过FlinkSQL将CDC数据实时写入Hudi存储，且在即将发布的0.9版本Hudi原生支持CDCformat。主要内容为：背景增量ETL演示一、背景近实时从2016年开始，ApacheHudi社区就开始通过Hudi的UPSERT能力探索近实时场景的使用案例[1]。通过MR/Spark的
浪尖聊大数据-浪尖·2024-02-02 12:30

Apache Paimon 介绍

FlinkTableStore是一个数据湖存储，用于实时流式Changelog写入(比如来自FlinkCDC的数据)和高性能查询。它创新性
zhisheng_blog·2024-01-31 15:58

数据湖技术Iceberg0.12预研文档

Iceberg0.12预研本次预研场景主要为kafka=>flinksql=>iceberg=>hive=>hdfs=>trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中（更换jar升级替换）hadoop3.0.0cdh原生版本presto2.591开源版本trino36
我去探险了·2024-01-31 15:36

Apache Doris 2.0.4 版本正式发布

亲爱的社区小伙伴们，ApacheDoris2.0.4版本已于2024年1月26日正式发布，该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新，使ApacheDoris能够适配更广泛的场景。
SelectDB技术团队·2024-01-31 03:38

Apache Paimon基础记录

基本都是在官网的学习，简单记录一下其中的核心特点ApachePaimon官网ApachePaimon|ApachePaimon根据官网介绍去快速了解paimon是用来设计做什么，可以做什么，对比与其他数据湖有什么特点
orange大数据技术探索者·2024-01-30 20:07

数据湖技术之平台建设篇2

数据湖技术之平台建设篇1，主要介绍了湖仓平台建设的前三个主要工作，本次主要继续上次的建设工作介绍，聊一聊一站式湖仓服务平台的相关管理能力建设以及针对小文件的处理。
风筝Lee·2024-01-29 16:35

数据湖技术之应用场景篇

数据湖技术有较多的应用场景，本篇文章是针对一些典型的痛点场景做了一些介绍和说明。
风筝Lee·2024-01-29 16:04

数据湖技术之核心特性篇

引入数据湖技术，可以更好的演进整体架构模式，形成一套湖仓一体的模式。
风筝Lee·2024-01-28 18:58

数据湖技术之平台建设篇1

一.建设思路在原有平台基础上，融合数据湖技术，提供统一、完善的湖仓能力，逐步实现湖仓一体、流批一体的最终模式。
风筝Lee·2024-01-28 18:58

数据湖技术之发展现状篇

一.大数据处理架构：大数据处理架构的发展过程具体可以分为三个主要阶段：批处理架构、混合处理架构（Lambda、Kappa架构）、湖仓一体。首先是随着Hadoop生态相关技术的大量应用，批处理架构应运而生，借助离线计算引擎的能力很好的满足了业务对大规模数据分析处理场景的需求。随着业务场景越来越多样化，对数据实效性方面有了更高的要求，诞生了一些新的架构模式，比如说Lambda、Kappa等，很好的解决
风筝Lee·2024-01-28 18:56

数据仓库现代化和迁移解决方案Datametica

Datametica是一家通过建立数据湖来帮助企业实现数据平台现代化的公司，该数据湖安全地保存结构化和非结构化数据。随着企业数据湖从各种来源收集大量数据，需要利用信息并帮助做出更明智的业务决策。
weixin_30777913·2024-01-26 20:20

数据中台架构原理与开发实战：构建数据中台的步骤与方法

它可以对业务数据进行收集、加工处理、存储、分析，为各个部门提供简单有效的数据服务，包括数据仓库、数据湖、数据应用平台等。
OpenChat·2024-01-26 20:15

用户画像项目背景

BI(层)DW:DWD明细数据层(数据的清洗和转换)，DWM(轻度聚合层)，DWS(高度聚合)，APP(层)，DIM(层)数据集市：更贴近于业务的数据仓库【数据集市就是满足特定的部门或者用户的需求，】数据湖
祈愿lucky·2024-01-26 13:20

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

推出了新一代湖仓集存储格式Holodesk，一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求。避免数
星环科技·2024-01-26 07:40

深度干货｜谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析

本文将分享AnalyticDBMySQLSpark助力构建低成本数据湖分析的最佳实践。
阿里云瑶池数据库·2024-01-26 06:57

【30秒看懂大数据】数据湖

简单说数据湖是一个存储平台，存储了企业所有所需要的数据。举例理解我们仍然以下周备餐为例。
风姑娘数据说·2024-01-25 11:05

Hudi学习笔记(一)

学习目标什么是数据湖为什么使用数据湖Hudi基本功能如何编译Hudi源码Hudi与Spark集成管理Hudi中COW和ROW不同类型表功能Hudi的三种查询方式Hudi中不同表数据写入流程数据仓库数据仓库是一个用于存储
一一|一一一亅·2024-01-25 09:37

【AWS征文】AWS 数据分析新服务——数据湖

本文将从实践角度阐述AWS数据湖以及数据分析等产品，是如何帮助企业更加智能的利用数据，从而辅助业务决策。
wzlinux·2024-01-25 07:45

AWS实战：AWS Kinesis Data Firehose

简介AmazonKinesisDataFirehose是一项提取、转换、加载(ETL)服务，可以将串流数据以可靠方式捕获、转换和提供到数据湖、数据存储和分析服务中。
JessicaWind·2024-01-25 07:43

StarRocks本地部署

StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种
keyson R·2024-01-25 06:14

邢春晓：新型区块链数据湖技术研发

其中邢春晓老师发表主题演讲《新型区块链数据湖技术研发》从区块链的发展趋势，新型区块链关键技术，区块链赋能经济社会等层面解析区块链+知识图谱发展趋势，为开源知识运动提供了重要的技术
EpikProtocol·2024-01-23 08:10
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他