flink

Flink在饿了么的应用与实践

本文作者：易伟平（饿了么）整理：姬平（阿里巴巴实时计算部）本文将为大家展示饿了么大数据平台在实时计算方面所做的工作，以及计算引擎的演变之路，你可以借此了解Storm、Spark、Flink的优缺点。

Apache Flink·2025-04-10 10:51

【Flink】Flink + Drools 构建规则模型

文章目录1.概述1.概述我以前搞过drools但是没有真真用起来。https://v.51doit.cn/detail/p_606869c9e4b09890f0e05cbf/6主要是如何将规则模型抽象成用户可以理解的，可以配置的模型。

九师兄·2025-04-10 10:48

CEF4Delphi 从零到精通（保姆级中文教程）

目录Chromium框架下载CEF4Delphi开发组件源码下载组件详解1.TChromium/TFMXChromium2.TCEFWindowParent/TFMXWindowParent3.TCEFLinkedWindowParent4

NolanDing·2025-04-09 21:25

Flink读取Kafka数据写入IceBerg（HiveCatalog）

Readmejava8flink1.13kafka3iceberg0.13链路：Kafka->Flink->IceBerg（HiveCatalog）代码importorg.apache.flink.api.common.serialization.SimpleStringSchema

徐一闪_BigData·2025-04-09 18:34

flink cdc的source数据流如何配置事件时间，如何设置时间语义，分配时间戳并生成水位线

在FlinkCDC中为Source数据流配置事件时间需要结合时间语义设置、时间戳分配和水位线生成三个核心步骤。

fzip·2025-04-09 04:36

Flink与Elasticsearch整合：万字详解与技术实战

Flink与Elasticsearch整合：万字详解与技术实战一、技术背景与整合意义1.1技术背景ApacheFlink：作为新一代流批统一的计算引擎，Flink以低延迟、高吞吐量和精准一次（exactly-once

AI天才研究院·2025-04-08 21:50

Flink1.7.2 并行计算源码分析

Flink1.7.2并行计算源码分析源码源码:https://github.com/opensourceteams/fink-maven-scala-2Flink1.7.2Source、Window数据交互源码分析

thinktothings·2025-04-07 13:26

Big Data 流处理框架 Flink

BigData流处理框架Flink什么是FlinkFlink的主要特性典型应用场景AmazonElasticMapReduce(EMR)VSFlink架构和运行时环境实时处理能力开发和编程模型操作和管理应用场景总结

wumingxiaoyao·2025-04-05 23:47

Flink介绍——实时计算核心论文之Storm论文总结

引入我们通过S4和Storm论文的以下文章，已经对S4和Storm有了较多认识：S4论文详解S4论文总结Storm论文详解本文则会结合这两者的论文内容进行对比总结，去看看为什么Storm能战胜S4成为当时实时处理的顶流。我们知道S4的实时计算模型，是通过抽象出一个叫做PE的单元，然后所有的数据、处理逻辑都是基于PE的，而且整个系统没有Master，是完全对称的架构。而Storm在流式计算上，虽然也

黄雪超·2025-04-05 19:20

Deepseek与Flink结合：提升大数据流中的搜索效率

本文提出了将Deepseek与Flink结合使用的创新方案，以优化大数据流中的搜索效率。

荣华富贵8·2025-04-05 18:16

Flink双流join中，KeySelector如何使用

在Flink双流Join操作中，KeySelector用于定义两个流中元素的关联键，其核心作用是将数据按相同逻辑分区，确保相同键的元素进入同一窗口或时间区间进行关联。

fzip·2025-04-05 13:43

Flink 之 TopN 以及窗口TopN

一、概念在Flink中，TopN计算是指从数据流中选取前N个元素，通常根据某个指标进行排序。TopN计算可以在全局范围内进行，也可以在窗口内进行。

Luckyforever%-·2025-04-04 04:33

python消费datahub_datahub消费数据

有木有大神知道Flink能否消费多个kafka集群的数据？这个问题有人遇到吗?你们实时读取广业务库到kafka是通过什么读的？

weixin_39580042·2025-04-03 21:45

Flink && Spark SQL提效神器双双更新

大家新年好，在这里先祝大家开工大吉，今年少bug少加班多赚钱！本次SparkSQLHelper主要更新了对于Hints的补全支持，Release版本为2025.2.0。插件地址：https://plugins.jetbrains.com/plugin/26079-spark-sql-helper或者直接在Jetbrains插件市场搜索SparkSQLHelepr。用户QQ群：782150013。而

·2025-04-01 16:36

流处理开源框架Flink原理简介和使用

sparkkafkastream示例大数据处理工具Kafka、Zk、Spark这篇文章描述了如何搭建kafka、zk和spark集群环境本篇文章先简要的举个demo来说明下代码实现过程源码https://gitee.com/pingfanrenbiji/spark-scala-examples/blob/master/src/main/scala/com/sparkbyexamples/spark

平凡人笔记·2025-04-01 02:31

Flink/Kafka在python中的用处

一、基础概念1.ApacheKafka是什么？核心功能：Kafka是一个分布式流处理平台，主要用于构建实时数据管道和流式应用程序。核心概念：生产者（Producer）：向Kafka发送数据的程序。消费者（Consumer）：从Kafka读取数据的程序。主题（Topic）：数据流的分类名称（类似数据库中的表）。Broker：Kafka集群中的单个服务器节点。用途：实时数据传输（如日志、事件流）。缓冲

不辉放弃·2025-04-01 02:59

Flink watermark的时间字段有空值，建表的时候，如何处理

在Flink中处理时间字段存在空值时，需通过表定义阶段的特殊处理和Watermark生成策略调整来避免因空值导致的窗口计算异常或任务失败。

fzip·2025-03-31 04:57

【Flink SQL】Flink SQL 基础概念（一）：SQL &； Table 运行环境

如果你是inStreamingMode，则最终创建出来的TableEnvironment实例为StreamTableEnvironmentImpl。如果你是inBatchMode，则最终创建出来的TableEnvironment实例为TableEnvironmentImpl。它两虽然都继承了TableEnvironment接口，但是StreamTableEnvironmentImpl支持的功能更多

m0_74932057·2025-03-31 04:55

Flink 内容分享(一)：Fink原理、实战与性能优化(一)_flink原理、实战与性能优化(1)

分治法在大数据处理中的应用不仅有助于提高处理效率，还可以充分利用分布式计算和存储资源，从而更好地应对大数据量和复杂性。然而，在应用分治法时需要考虑合适的数据分割策略、任务调度、结果合并等问题，以确保分治法的正确性和性能。然而，分布式计算也带来了一些挑战，如数据一致性、通信开销、任务调度等问题，需要综合考虑各种因素来设计和优化分布式系统。同时，分布式计算也需要开发者具备分布式系统设计和调优的知识和技

2401_84166965·2025-03-31 00:03

Day78_Flink(四）Flink状态操作

课程大纲课程内容学习效果掌握目标ProcessFunctionProcessFunction掌握状态编程状态编程掌握容错机制容错机制掌握一、ProcessFunction我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStreamAPI提供了一系列的

dogedong·2025-03-30 10:25

flink重温笔记（一）：Flink 基础入门

Flink重温笔记（一）前言：最近发现Flink技术在实时数仓开发上占比越来越明显，希望通过抓紧复习，加强对Flink的理解和应用，提升自己实时数仓的开发能力，以下是今日整理的学习笔记，各种图像均按照自己理解重画

卡林神不是猫·2025-03-30 10:54

Flink中聚合算子介绍

前言在flinkapi中，聚合算子是非常常用的。所谓的聚合就是在分组的基础上做比较计算的操作。下面通过几个简单案例来说明聚合算子的用法和注意事项。

林犀居士·2025-03-29 07:47

Flink SQL窗口表值函数聚合实现原理

Flink是一个流处理和批处理框架，提供了强大的大数据处理能力。FlinkSQL是Flink的一种高级查询语言，可以用于对数据流进行实时分析和处理。

VqhhMobile·2025-03-29 07:45

Flink 常用及优化参数

流批模式SET'execution.runtime-mode'='streaming';//orbatch基础Checkpoint配置--启用Checkpoint，间隔5分钟SET'execution.checkpointing.interval'='5min';--Checkpoint超时时间（10分钟）SET'execution.checkpointing.timeout'='10min';-

宝哥大数据·2025-03-28 09:41

flink-connector-jdbc扩展国产达梦数据库

下载flink-connector-jdbc源码gitclonehttps://github.com/apache/flink-connector-jdbc.git增加达梦数据库支持在org.apache.flink.connector.jdbc.databases

炸地瓜·2025-03-28 06:49

达梦数据库Flink CDC方案改进

系列文章目录达梦数据库CDC方案改进文章目录系列文章目录前言一、优化思路当时的思路：优化思路：二、使用步骤1.引入库2.配置文件增加3.核心代码总结前言之前分享了springboot集成flink实现DM

肥仔哥哥1930·2025-03-28 06:18

Flink介绍与安装

ApacheFlink是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。

叶域·2025-03-28 05:43

flink常用参数及介绍

Table和SQLAPI的配置参数，Hints的用法执行配置选项参数介绍table.exec.async-lookup.buffer-capacity异步查找连接可以触发的异步i/o操作的最大数量。table.exec.async-lookup.timeout异步操作完成的异步超时。table.exec.disabled-operators主要用于测试。以逗号分隔的运算符名称列表，每个名称代表一种

dgbcf·2025-03-28 05:12

Windows PC上创建大数据职业技能竞赛实验环境之六--Flume、Kafka和Flink编程

1Flume参看日志采集工具Flume的安装与使用方法_厦大数据库实验室博客(xmu.edu.cn)。查看Flume安装root@client1:~#flume-ngversionFlume1.7.0Sourcecoderepository:https://git-wip-us.apache.org/repos/asf/flume.gitRevision:511d868555dd4d16e6ce4

liu9ang·2025-03-28 01:49

Apache Flink 2.0.0: 实时数据处理的新纪元

昨天天，Flink开发团队骄傲地宣布ApacheFlink2.0.0正式发布！这是Flink2.x系列的首个版本，也是自九年前Flink1.0发布以来的首次重大更新。

·2025-03-27 20:26

Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file:

控制台上有这么一句警告JVM报错：共享内存文件空间不足df-h以可读性较高的方式来显示磁盘使用信息可以看到主盘已使用100%暴力解决办法：找到对应占用磁盘的文件，然后rm-f，再重启造成大日志文件的程序我的原因是flink

fzip·2025-03-27 14:23

flink之SQL入门

SQL部分学习TableAPI的特点TableAPI和SQL都是ApacheFlink中高等级的分析API，SQL所具备的特点TableAPI也都具有，如下：声明式-用户只关心做什么，不用关心怎么做；高性能

panxuej_shenx·2025-03-27 14:53

简单分析Flink算子返回NULL导致的异常

假设我们作业中有这样一段逻辑stream.map(xxx).filter(_!=null).xxx，并且map算子有可能返回NULL，你觉得作业运行会抛NPE吗？明明下游有filternotnull，不应该出错才对？但实际情况是运行中有可能抛出异常。1.异常信息可能抛出的异常信息大致如下：//1.如果map算子返回值类型为JavaTupleCausedby:java.lang.NullPointe

yscoder·2025-03-27 14:53

Flink 源码解读系列 DataStream 带 Watermark 生成的时间戳分配器

传送门：Flink系统性学习笔记Flink1.10这篇文章主要从源码角度讲一下FlinkDataStream中带Watermark生成的时间戳分配器。

@SmartSi·2025-03-27 14:18

Flink+Paimon/Hudi+Doris湖仓架构在各大公司落地的一些总结

记录一下各大公司落地湖仓项目的主要解决的问题和收益，从这些已经有的实践中吸收一些经验。参考的分享文档在文章末尾。一些背景阿里妈妈：实时广告决策驱动淘天集团商业数智营销中台，阿里妈妈日均处理千亿级广告请求，传统Lambda架构导致实时与离线数据割裂，无法满足分钟级预算调控需求。广告归因分析需跨时段行为关联，要求数据更新延迟低于50ms，同时需支持700GB/h的高并发写入。腾讯视频：指标治理与时效压

王知无(import_bigdata)·2025-03-26 20:07

Flink CDC 在阿里云实时计算Flink版的云上实践

摘要：本文整理自阿里云高级开发工程师，ApacheFlinkCommitter阮航老师在FlinkForwardAsia2024生产实践（三）专场中的分享，主要分为以下四个方面：一、FlinkCDC&实时计算

·2025-03-26 03:19

FlinkCDC实战：将 MySQL 数据同步至 ES

java15655057970·2025-03-25 00:41

基于Flink SQL的实时指标多维分析模型

FlinkSQL逻辑SETtable.exec.s

PONY LEE·2025-03-24 22:57

Flink sql-clinet 查询报错

Flinksql-clinet查询报错运行后进行select'helloworld’报以下错误，couldnotexecutesqlstatementjava.net.NoRouteToHostException

lhfmqc·2025-03-23 23:10

SpringBoot集成Flink-CDC，实现对数据库数据的监听

二、Flink-CDC是什么？CDCConnectorsforApacheFlink是一组用于ApacheFlink的源连接器，使用变更数据捕获(CDC)从

rkmhr_sef·2025-03-23 16:07

深入解析Flink Kafka Connector的分布式流数据采集架构与底层实现

目录1.FlinkKafka连接器的分布式流采集架构1.1架构组成1.2分布式流模型2.数据分区分配策略3.为什么重写序列化和偏移量管理3.1与Flink分布式架构集成3.2与Flink检查点机制集成同时承接多级并行架构

数据与算法架构提升之路·2025-03-23 16:04

Apache大数据旭哥优选大数据选题

，这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、spark、hive、hbase、flink

Apache大数据旭·2025-03-23 13:12

flink作业访问zk出现acl报错问题分析

#问题现象向yarn集群提交flink作业的时候会出现zkacl的异常经确认：1.zk相关acl密码没有更改过2.重新部署客户端配置后提交任务同样报错3.修改flink的zk目录，重启后可以正常运行任务

spring208208·2025-03-23 03:47

Flink Cdc TiDB详解

1.什么是FlinkTiDBCDC？简单说就是用Flink实时抓取TiDB数据库的数据变化（比如新增、修改、删除），并将这些变化数据以流的形式处理，用于实时分析、同步到其他系统等场景。

24k小善·2025-03-23 03:44

Flink CDC 与 SeaTunnel CDC 简单对比

FlinkCDC与SeaTunnelCDC简单对比CDC技术概述变更数据捕获（ChangeDataCapture，简称CDC）是一种用于捕获数据库中数据变更的技术，能够实时识别、捕获并输出数据库中的插入

窝窝和牛牛·2025-03-23 03:13

努力的搬砖人.·2025-03-22 18:15

Flink命令行启动Job任务

Flink非交互式运行Job任务Flink命令行启动Job任务具体命令flink参数说明-c,--class-d,--detached后台运行-p,--parallelism并行度[test@xxx~]

平凡的运维之路·2025-03-21 13:30

快速启动flink项目

idea-----File----new---Project------Maven----Createfromarchetype----AddArchetype弹出框：GroupId填org.apache.flinkArtifactId

for your wish·2025-03-21 13:58

【Flink】flink启动任务，taskmanager.out 文件增涨非常快

1.概述flink启动任务，taskmanager.out文件增涨非常快，这个文件大小怎么限定？

九师兄·2025-03-21 13:55

IDEA本地启动flink 任务

1pom中添加org.apache.flinkflink-clients_${scala.binary.version}${flink.version}org.apache.flinkflink-runtime-web

Direction_Wind·2025-03-21 13:22

推荐频道