Flink数据湖第2页

StreamPark发布：Flink迎来首个Apache版本

这一版本的发布标志着StreamPark与ApacheFlink的融合迈出了重要的一步，为用户提供了更好的流处理体验。

MfvShell·2025-03-02 04:49

Flink CDC

数据库中读取配置数据,我以前没接触这个技术之前是定时从数据库中获取数据,但是将数据间隔设置太小就会出现问题,所以达不到纯实时的效果.下面开始介绍一下准备工作:支持的数据库(下面是官方的建议:MySQL|ApacheFlinkCDC

LonelyProgramme·2025-03-02 04:49

Doris、ClickHouse 和 Flink 这三个技术典型的应用场景

Doris、ClickHouse和Flink这三个技术在不同业务场景下有各自的成功落地方案，主要用于数据分析、实时计算和高性能查询。

每天瞎忙的农民工·2025-03-02 04:19

使用 Flink CDC 实现 MySQL 数据,表结构实时入 Apache Doris

背景现有数据库：mysql数据：库表较多，每个企业用户一个分库，每个企业下的表均不同，无法做到聚合,且表可以被用户随意改动，增删改列等，增加表分析：用户自定义分析，通过拖拽定义图卡，要求实时，点击确认即出现相应结果，其中有无法预判的过滤问题：随业务增长，企业用户越来越多，mysql压力越来越大，已经出现一些图卡加载过慢[mysqlsql]同步流程脚本读取mysql中需要同步的企业，在获取需要同步的

一天两晒网·2025-03-01 18:42

Streaming ELT 同步 MySQL 到 StarRocks

StreamingELT同步MySQL到StarRocks这篇教程将展示如何基于FlinkCDC快速构建MySQL到StarRocks的StreamingELT作业，包含整库同步、表结构变更同步和分库分表同步的功能

慧一居士·2025-03-01 17:39

数据整合平台Airbyte中的Shopify连接器使用指南

技术背景介绍Airbyte是一种专门用于ELT数据集成的平台，支持从API、数据库和文件到数据仓库和数据湖的管道搭建。其拥有最大规模的ELT连接器目录，支持众多的数据仓库和数据库。

bavDHAUO·2025-03-01 03:49

kafka stream对比flink

KafkaStreams和ApacheFlink虽然都支持实时计算，但它们的定位、架构和适用场景存在显著差异。选择哪一个取决于具体的需求、场景和技术栈。

后季暖·2025-02-28 14:23

四、数据湖应用平台架构

数据湖应用平台是一个用于存储、处理和分析大容量、用途数据的平台。它旨在以隐蔽、高效率的方式，为企业提供全面的数据管理和应用能力。

moton2017·2025-02-28 03:51

数据湖构建

阿里云的数据湖构建（DataLake）是一种用于存储和处理大量不同类型数据的解决方案，通常用于大数据分析和机器学习等应用场景。

HaoHao_010·2025-02-28 00:25

国产唯一开源湖仓框架LakeSoul 2.0 重磅升级：支持快照回滚、Flink和Hive对接

首先，附上Github链接LakeSoul：https://github.com/meta-soul/LakeSoul，可搜索公众号元灵数智，在底部菜单了解我们-用户交流获取官方技术交流群二维码，进群与业内大佬进行技术交流。DMetaSoul团队于7月初发布了LakeSoul2.0版本，对1.0版本进行了多方面升级优化，提高了自身架构设计的灵活性，也更好地适应客户未来业务高速发展的需要。2.0版本

元灵数智·2025-02-28 00:52

【数据分析】4 商业数据分析技能模型总结

优秀的商业分析师需要具备的能力数据分析能力逻辑思维能力赢得结果能力一、数据分析能力扩展：工具链生态与进阶场景1.数据获取技术升级企业级数据源管理：数据湖架构（AWSS3/阿里云OSS）与数据仓库（Snowflake

loyd3·2025-02-27 19:44

Flink连接kerberos认证的hive 并使用table API

有个问题flink的kerveros通过配置设置。但是HiveCatalog还需要再次使用UserGroupInformation再次认证。

lisacumt·2025-02-27 05:27

Flink事件时间案例：电商订单实时分析的奇妙之旅[特殊字符]

Flink事件时间案例：电商订单实时分析的奇妙之旅嘿，小伙伴们！

狮歌~资深攻城狮·2025-02-26 22:27

使用 Airbyte 数据集成平台加载 Shopify 数据

技术背景介绍Airbyte是一个用于API、数据库及文件到仓库和数据湖的ELT管道的数据集成平台。它拥有最全的ELT连接器目录，为各种数据源提供强大支持。

fgayif·2025-02-26 19:33

深入理解 Flink 中的 .name() 和 .uid() 方法

在ApacheFlink中，.name()和.uid()是两个常用的配置方法。

Ray.1998·2025-02-26 15:06

Flink Checkpoint机制详解

ApacheFlink作为流处理的领先框架，提供了一种强大的机制来确保系统的容错性与数据的一致性，这就是Flink的Checkpoint机制。

Ray.1998·2025-02-26 15:05

Spring Boot中整合Flink CDC 数据库变更监听器来实现对MySQL数据库

FlinkCDC（ChangeDataCapture）是Flink的一种数据实时获取的扩展，用于捕获数据库中的数据变化，并且通过实时流式处理机制来操作这些变化的数据，在FlinkCDC中通过Debezium

坚定信念，勇往无前·2025-02-26 14:01

华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践

Flink作为流批一体的计算引擎，致力于提供一套SQL支持全部应用场景，FlinkSQL的实现也完全遵循AN

华为云技术精粹·2025-02-26 14:59

图数据库的易用性—GES与Flink的对接

数字化时代，业务的实时处理需求越来越迫切，实时预警、实时风控、实时推荐等，Flink作为新一代流批统一的计算引擎，具有独特的天然流式计算特性和更为先进的架构设计的特点，它可以从不同的第三方存储引擎中读取数据

华为云技术精粹·2025-02-26 14:59

消息中间件 --- Apache Pulsar

OpenMessaging协议实现（透明层协议）场景3：流式队列：自定义Kafka0.8-Source（Source开发）场景4：流式队列：Function消息过滤（消息过滤）场景5：流式队列：PulsarFlinkConnector

johnrui·2025-02-26 11:11

Flink-02-flink技术架构及工作原理

Flink组件栈自下而上，分别针对每一层进行解释说明：Deployment该层主要涉及了Flink的部署模式，Flink支持多种部署模式：本地、集群（Standalone/YARN）、云（GCE/EC2

TRX1024·2025-02-26 10:35

Flink集群架构

在上一章节我们对flink有了一个基本的了解。从它的应用的场景以及它的一些基本的一些核心的一些概念。

流量留·2025-02-26 06:32

maven引包爆红 failed to transfer from http://maven.aliyun.com/nexus/content/groups/public during a previ

之前一致可以正常使用，然后突然无法引入新的包无法引包org.apache.flink:flink-streaming-java_2.12:pom:1.13.1failedtotransferfromhttp

sui5yue6_·2025-02-25 15:21

《聊聊Flink：大数据世界的神秘“小能手”》

《聊聊Flink：大数据世界的神秘“小能手”》宝子们，咱今天来唠唠一个有点神秘的东西——Flink。你要是刚听到这个名字，可能会觉得像什么魔法咒语似的。其实啊，它可没那么玄乎，但确实挺厉害的。

狮歌~资深攻城狮·2025-02-25 15:18

如何通过高效的缓存策略无缝加速湖仓查询

随着数据湖仓和查询引擎架构的发展，开放文件格式和表格格式为数据分析带来了更好的生态兼容性和灵活性。然而，在实际应用中，特别是面向用户的实时查询场景下，数

·2025-02-24 14:57

构建多维度用户特征矩阵，开发基于Flink CEP的高风险用户识别模型

基于FlinkSQLCEP构建多维度用户特征矩阵与高风险用户识别模型，需结合实时特征计算、动态规则管理和复杂事件检测能力。

千叶真尹·2025-02-23 08:12

大数据-257 离线数仓 - 数据质量监控监控方法 Griffin架构

已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink

m0_74823705·2025-02-22 21:50

优化 Flink 消费 Kafka 数据的速度：实战指南

在使用Flink消费Kafka数据时，你可能会遇到消费速率较慢的问题。

Ray.1998·2025-02-22 11:01

【Flink实战】Flink网络内存和托管内存

网络内存配置项2.托管内存二、网络内存与托管内存的关系1、互相依赖，优化执行性能2、基于任务特性设置内存分配3、内存竞争与背压机制网络内存主要负责Taskmanager之间的网络数据传输的内存，托管内存主要负责Flink

roman_日积跬步-终至千里·2025-02-22 09:46

【Flink 实战】Flink 中 Akka 通信与内存占用分析

Akka是Flink中一个分布式通信框架，负责处理集群内各个组件之间的消息传递、任务调度、状态更新以及故障恢复等操作。

roman_日积跬步-终至千里·2025-02-22 09:45

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，ApacheHudiContributor朱正军老师在FlinkForwardAsia2024生产实践（二）专场中的分享。

·2025-02-21 19:13

【AI大数据】数据中台的数据分析与挖掘：从数据到业务的决策

文章目录1.前言2.基本概念术语说明2.1数据模型及其实体关系实体（Entity）属性（Attribute）实体关系（EntityRelationships）2.2数据仓库2.3分析引擎2.4噪声数据2.5数据湖

AI天才研究院·2025-02-21 08:34

mysql实时同步到es

测试了多个方案同步，最终选择oceanu产品，底层基于Flinkcdc1、实时性能够保证，binlog量很大时也不产生延迟2、配置SQL即可完成，操作上简单下面示例mysql的100张分表实时同步到es

·2025-02-20 17:22

Flink CDC报错ArrayIndexOutOfBoundsException解决思路

FlinkCDC用两个并行度会报错。一个并行度就不会报错。不知道是什么原因？同步java.lang.ArrayIndexOutOfBoundsException？

学亮编程手记·2025-02-20 08:53

数据统一高效管理 HashData支撑“数智石油”高质量发展

酷克数据（HashData）作为赋能石油石化企业数字化转型的先进代表，受邀参加此次行业盛会，展示了与昆仑数智携手打造的油气行业数据湖联合解决方案和创新成果。

·2025-02-19 15:02

Flink 源码笔记03—StreamGraph到JobGraph

文章目录简介入口函数traverseStreamGraphAndGenerateHashesgenerateDeterministicHashgenerateUserSpecifiedHashsetChainingisChainable简介JobGraph可以认为是StreamGraph的优化图，它将一些符合特定条件的operators合并成一个operatorchain，以减少数据在节点之间序列

董嘻嘻·2025-02-19 07:29

flink核心特性

ApacheFlink核心特性详解一、流处理与批处理的统一Flink的核心设计理念之一是将流处理和批处理统一在一个框架中。这种统一性使得Flink在处理实时数据和批量数据时具有高度的灵活性和一致性。

24k小善·2025-02-19 06:55

flink反压详解

Flink背压/反压（Backpressure）详解在ApacheFlink中，背压（Backpressure）是一个常见的性能问题，通常表现为数据流在某些节点处积压，导致整体处理速度下降甚至停滞。

24k小善·2025-02-19 06:55

十四、Flink源码阅读--JobGraph生成过程

publicJobSubmissionResultrun(FlinkPlancompil

灰二和杉菜·2025-02-19 06:54

DeepSeek的训练与优化流程

DeepSeek的训练与优化流程一、数据工程体系1.多模态数据融合处理动态数据湖架构：实时摄入互联网文本、科学论文、专利文献、传感器数据等20+数据源日均处理原始数据量达1.2PB，支持200+文件格式自动解析智能清洗流水线

程序猿000001号·2025-02-18 17:01

数据仓库和数据湖数据仓库和数据库

数据仓库和数据湖是两种不同的数据存储解决方案，它们在设计、用途和数据管理方式上有着显著的区别。

qq_25467441·2025-02-18 12:11

数据仓库、数据湖和数据湖仓

数据仓库、数据湖和数据湖仓是三种常见的数据存储和管理技术，各自有不同的特点和适用场景。

阿湯哥·2025-02-18 11:58

Flink提交pyflink任务

1.官方文档：flink1.14:https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/cli/#submitting-pyflink-jobsflink1.18

Leo_Hu666·2025-02-17 18:59

Flink在指定时间窗口内统计均值，超过阈值后报警

2、思路使用flink的双流join，配置数据使用广播流，设备数据使用普通流。3、实现代码packagecu.

小的~~·2025-02-17 17:49

数据仓库与数据湖的协同工作：智慧数据管理的双引擎

数据仓库与数据湖的协同工作：智慧数据管理的双引擎引言在数据驱动的今天，企业和组织收集和存储的数据量正以惊人的速度增长。如何高效管理和利用这些数据，成为了决策者和技术专家的共同难题。

Echo_Wish·2025-02-17 07:58

Flink SQL 优化实战 - 维表 JOIN 优化

作者：龙逸尘，腾讯CSIG高级工程师背景介绍维表（DimensionTable）是来自数仓建模的概念。在数仓模型中，事实表（FactTable）是指存储有事实记录的表，如系统日志、销售记录等，而维表是与事实表相对应的一种表，它保存了事实表中指定属性的相关详细信息，可以跟事实表做关联；相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。在实际生产中，我们经常会有这样的需求，以原始数据流

腾讯云大数据·2025-02-17 04:01

阿里云RDS到亚马逊云RDS的实时数据同步方案详解

KDA基于ApacheFlink,支持使用SQL或J

ivwdcwso·2025-02-17 00:33

Flink 安装阿里云docker compose部署及相关组件

Flink安装脚本文件version:"2.2"services:jobmanager:image:flink:1.15.2-java11expose:-"6123"ports:-"8081:8081"

vellerzheng·2025-02-16 21:08

使用Docker搭建Flink集群

目录使用Docker搭建Flink集群docker-compose一键搭建步骤附录参考资料使用Docker搭建Flink集群在学习大数据框架的时候，需要一个真实的环境。

O_1CxH·2025-02-16 20:34

推荐频道

Flink数据湖