数据湖

【数据湖Hudi-8-Hudi集成Flink-入门】

数据湖Hudi-8-Hudi集成Flink-入门Hudi集成Flink入门1.Hudi集成Flink版本对照关系2.Flink环境准备3.FlinkSQLClient方式处理任务1.修改配置2.创建表格
Apache Minor Trend·2023-10-10 21:06

系统架构设计：11 论湖仓一体架构及其应用

目录一湖仓一体（Lakehouse）1数据仓库2数据湖3数据仓库和数据湖4湖仓一体（Lakehouse）
Jackilina_Stone·2023-10-10 18:01

Linux 部署 MinIO 分布式对象存储 & 配置为 typora 图床

前言MinIO是一款高性能的对象存储系统，它可以用于大规模的AI/ML、数据湖和数据库工作负载。它的API与AmazonS3云存储服务完全兼容，可以在任何云或本地基础设施上运行。
凉了的凉茶·2023-10-10 14:51

天翼云 云中台融合部署（大纲案例）

”的统一技术底座构建云化IPTV业务管理平台，按照L3标准上云，具体包括：1.业务平台上天翼云；2.不依赖特定的专用硬件和商业软件；3.通过云翼平台使用PaaS清单内组件；4.平台数据按照规范要求入大数据湖
小可爱J 人工智能学者 全栈工程师·2023-10-10 08:32

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
阿里云云栖号·2023-10-09 08:33

数据湖

一、什么是数据湖数据湖这一概念，最早是在2011年由CITOResearch网站的CTO和作家DanWoods首次提出。
大数据翻身·2023-10-09 08:31

系统架构设计：论文论点目录

论微服务架构及其应用系统架构设计：5论软件的可靠性设计系统架构设计：6论软件质量保证及其应用系统架构设计：7论企业集成架构设计及应用系统架构设计：8论软件架构风格系统架构设计：9论软件系统架构评估及其应用系统架构设计：10论数据湖技术及其应用系统架构设计
Jackilina_Stone·2023-10-08 09:08

大数据之巅：深入分析数据湖架构的优势

文章目录什么是数据湖？
IT·陈寒·2023-10-08 08:30

Nessie 像git一样管理你的数据

Nessie可以管理像git分支，合并数据源等一些特性；受git的版本管理启发跨表事务和可见性支持hive,spark,AWSAthena,dremio，管理其数据湖的数据深度和ApacheIceberg
卫渐行·2023-10-07 07:31

数据湖｜Flink + Iceberg 全场景实时数仓的建设实践

整理｜路培杰（Flink社区志愿者）摘要：ApacheFlink是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以Iceberg、Hudi、Delta为代表的解决方案应运而生
大数据技术架构·2023-10-05 13:31

FFA 2021 专场解读 - 实时数据湖

其中，实时数据湖专场，来自阿里巴巴、字节跳动、网易的技术专家们将解读如何构建数据湖平台、简化实时数据入湖入仓等相关问题，更有Flink+Iceb
Apache Flink·2023-10-03 21:19

数据湖 vs 数据仓库

参考4KeyDifferencesBetweenaDataLakeandaDataWarehouse-数据湖的数据都是原始数据，结构化的或者是非结构化的数据都有，是一个用来存储原始数据的仓库。
Bitson·2023-10-02 16:13

hudi介绍

hudi介绍数据湖产生背景hudi介绍Timeline文件Layout数据湖产生背景数据湖的产出原因是数据处理架构的升级，最初版本的lambda架构，在Processor上是两套结构（streamprocessor
左林右李02·2023-10-01 11:22

数据中台实战(00)-大数据的尽头是数据中台吗？

与数仓、数据湖、大数据平台啥区别？来深入大数据发展史，先从数仓出现讲起，途径数
JavaEdge.·2023-10-01 03:18

怎么使用 Go 语言操作 Apache Doris

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单
hf200012·2023-09-29 12:29

数据智能· 数据湖· BI Superset

一．背景介绍数据分析和探索是日常常见的需求，Superset就是能否符合该要求的一款工具。Supersetisamoderndataexplorationanddatavisualizationplatform.Supersetcanreplaceoraugmentproprietarybusinessintelligencetoolsformanyteams.Supersetintegrates
sinwaj·2023-09-29 04:58

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要
泊浮目·2023-09-29 02:17

夯实数据“底座”，AWS完整云存储阵容吹响“集结号”

回顾企业数据的演进史，从早期的数据报表，到实时互动的仪表盘，到数据仓库，到今天的数据湖。企业拥有生产经营各个环节产生的、产品和服务相关环节背后隐藏的，以及企业利益相关者等方方面面的数据。
云智时代·2023-09-28 23:58

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖
KaiwuDB 数据库·2023-09-28 21:17

禾观科技采用亚马逊云科技的数据湖，实现数据化驱动运营的核心

如今，随着本土业务发展渐趋成熟，越来越多的中国企业开始依托跨境电商实现产品出口外销，大力拓展海外布局。在这一背景下，众多潜在机遇涌现，成为跨境电商“蓝海”的必争之地。杭州禾观科技有限公司是面向全球新兴快时尚的时尚品牌，是一家科技驱动的B2C电商，坚信人机结合的数据科学理念。应用亚马逊云科技广泛而深入的全球化基础设施、以及全托管的机器学习解决方案，禾观科技业务稳定性、可扩展性得到保障，智能搜索技术得
前沿商业·2023-09-28 14:34

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖
·2023-09-27 16:55

现代数据架构-湖仓一体

当前的数据架构已经从数据库、数据仓库，发展到了数据湖、湖仓一体架构，本篇文章从头梳理了一下数据行业发展的脉络。
ladofwind·2023-09-27 14:59

基于 DTS 同步 MySQL 全增量数据至 CKafka，构建实时数仓的最佳实践

通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。全量
·2023-09-26 21:29

Hudi数据湖技术引领大数据新风口(四)核心概念

文章目录第3章核心概念3.1基本概念3.1.1时间轴（TimeLine）3.1.2文件布局（FileLayout）3.1.3索引（Index）后记第3章核心概念3.1基本概念3.1.1时间轴（TimeLine）Hudi的核心是维护表上在不同的即时时间（instants）\执行的所有操作的时间轴（timeline）\，这有助于提供表的即时视图，同时还有效地支持按到达顺序检索数据。一个instant由
Maynor996·2023-09-25 06:27

【Phoenix】phoenix实现每个Primarykey主键保留N版本数据，CDC数据记录为Changelog格式

另外数据湖Hudi(0.13.1)是不支持保存所有Changelog其Compaction机制会清除所有旧版本的内容。
lisacumt·2023-09-25 04:12

Zoom 在数据湖上的流批一体架构实践！

1.背景OnZoom是Zoom新产品，是基于ZoomMeeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zoom用户提供创建、主持和盈利的活动，如健身课、音乐会、站立表演或即兴表演，以及Zoom会议平台上的音乐课程。在OnZoomdataplatform中，source数据主要分为MySQLDB数据和Log数据。其中Kafka
程序员的隐秘角落·2023-09-25 02:25

数据湖在爱奇艺数据中台的应用

01我们眼中的数据湖作为爱奇艺的数据中台团队，我们的核心任务是管理和服务公司内的大量数据资产。在实施数据治理的过程中，我们不断吸收新的理念，引入尖端的工具，以精细化我们的数据体系管理。
爱奇艺技术产品团队·2023-09-24 18:31

大数据杂谈

架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务，深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是数仓的增强版本格式管理数据管理时间旅行
February13·2023-09-24 08:26

大数据的崭露头角：数据湖与数据仓库的融合之道

文章目录数据湖与数据仓库的基本概念数据湖（DataLake）数据仓库（DataWarehouse）数据湖和数据仓库的优势和劣势数据湖的优势数据湖的劣势数据仓库的优势数据仓库的劣势数据湖与数据仓库的融合之道
IT·陈寒·2023-09-24 04:31

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

主题，从金融、运营商等行业在大数据创新的实践，顶级高校的大数据顶尖人才培养和科学研究，以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面，以产学研深度融合的方式展开分享和探讨。
数据湖洞见·2023-09-23 10:37

使用 Databend 加速 Hive 查询

许多企业的数仓/数据湖中都有PB级的数据，其中绝大多数都属于旧有系统中的
Databend·2023-09-23 03:27

Tapdata Connector 实用指南：云原生数仓场景之数据实时同步到 Databend

典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。引用随着TapdataConnector的不断增长，我们最新推
·2023-09-21 14:28

Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter数据湖分析
迷雾总会解·2023-09-21 12:33

ETL数据加载性能优化

这些实践指南可以帮助您加快数据处理速度，提升数据仓库或数据湖的效率。随着数据量的不断增长，ETL过程中的数据加载性能成为企业面临的一个重要挑战。
ETLCloud数据集成社区·2023-09-20 08:11

大数据之数据湖---flink 整合hudi

1.hudi简介Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多Log
wudl·2023-09-20 07:06

【hudi】数据湖客户端运维工具Hudi-Cli实战

数据湖客户端运维工具Hudi-Cli实战helphudi:student_mysql_cdc_hudi_fl->helpAVAILABLECOMMANDSArchivedCommitsCommandtriggerarchival
lisacumt·2023-09-20 07:50

ByConity 0.2.0 版本发布

重要新特性：冷读优化，包括IOScheduler和Preload能力数据湖支持，包括Hive，Hudi，Multi-Catalog等支持ELT长时任务支持，包括异步执行，队列，算子Spill等RBAC欢迎大家使用体验
·2023-09-19 18:07

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

本篇内容主要分为五个部分：SmartNews数据湖介绍基于Icebergv1格式的数据湖实践基于Flink实时更新的数据湖（Icebergv2）解决方案实时更新小文件问题的优化总结与展望点击查看原文视频
Apache Flink·2023-09-19 07:52

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
StarRocks_labs·2023-09-19 04:34

数据湖调研

数据湖调研1什么是数据湖2数据湖能解决什么问题3数据湖与数仓的区别4数据湖生态5当前常见的数据湖实现方案5.1基于Hudi5.2基于Iceberg5.2.1Iceberg应用场景：5.3数据湖基本实现：
Direction_Wind·2023-09-19 00:30

关于数据仓库、数据湖、数据平台和数据中台的概念和区别

我们谈论数据中台之前，我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别，下面我们将分别介绍数据平台数据仓库数据湖和数据中台。
weixin_42073629·2023-09-18 23:36

数据湖与数据仓库

大家好，本期Jesse想跳脱开TSDB领域，来聊一聊数据湖与数据仓库的话题，Jesse作为局外人也想大体介绍一下二者的情况。
CnosDB·2023-09-18 23:06

数据仓库，数据湖

1.数据仓库早期系统采用数据库来管理和存放数据，但随着大数据技术的兴起，大家想要通过大数据技术来找到数据之间可能存在的关系，所以大家设计了一套新的数据存储管理系统，把所有的数据全部存储到数据仓库，然后统一对数据处理，这个系统叫做数据仓库。数据仓库是来自一个或者多个不同源的集成数据中央存储库。数据仓库将当前和历史数据存储在一起，以利于各种分析方法如在线分析处理（OLAP），数据挖掘（datamini
乐十九·2023-09-18 23:06

【数据湖仓架构】数据湖和仓库：Databricks 和 Snowflake

我们比较了Databricks和Snowflake，以评估基于数据湖和基于数据仓库的解决方案之间的差异。在这篇文章中，我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。
架构师酒馆·2023-09-18 23:35

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
·2023-09-18 21:54

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

本篇内容主要分为五个部分：SmartNews数据湖介绍基于Icebergv1格式的数据湖实践基于Flink实时更新的数据湖（Icebergv2）解决方案实时更新小文件问题的优化总结与展望点击查看原文视频
·2023-09-18 18:37

Flink CDC 2.0 详解

CDC技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库/数据湖的ETL数据集成，是非常重要的数据源。CDC的技术方案非常
000X000·2023-09-17 15:43

Data Lakehouse的未来-开放

Cloudera客户运行着地球上一些最大的数据湖。这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例（包括企业数据仓库）提供动力。
大数据杂货铺·2023-09-16 09:22

离线数仓和实时数仓割裂的痛点,数据湖方案

离线数仓和实时数仓割裂的痛点：1)离线加工数据产出时效性不足2)实时加工可观测性，可运维性较弱3)批流双链路，双份资源开销4)全天计算资源高峰集中在凌晨数据湖方案：数据入湖增量计算，提升时效流表二像性，
秉寒-CHO·2023-09-16 08:53

数据湖是什么？数据湖的关键技术（二）

数据探索数据的异构性特征导致了从数据湖中获取数据价值存在难度。主要问题体现在多种数据模型的查询、模式不确定的关键字搜索、数据访问的有效性以及个性化数据的探索等方面。
白牛DATA·2023-09-15 18:47
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他