Flink源码学习

SpringMVC 学习博客记录

RequestDispatcherHandlerInterceptor组件实际运用场景HandlerMapping&RequestMappingInfo(HandlerMapping)HandlerExecutionChainHandlerAdapter源码学习知识点博客记录
Gabriel_liao·2024-01-14 02:49

【五】CocosCreator-CCScheduler.js源码分析

PS：只是看源码学习过程中把认为重要的内容以笔记的形式记录下来。【1】HashTimerEntry：用于保存指定target的事件定时器相关参数的数据结构。
0zien0·2024-01-14 01:24

FlinkCEP - Flink的复杂事件处理

FlinkCEP-Flink的复杂事件处理FlinkCEP是在Flink上层实现的复杂事件处理库。它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。
左美美 ￣　　·2024-01-14 00:04

Flink窗口（2）—— Window API

目录窗口分配器时间窗口计数窗口全局窗口窗口函数增量聚合函数全窗口函数（fullwindowfunctions）增量聚合和全窗口函数的结合使用WindowAPI主要由两部分构成：窗口分配器（WindowAssigners）和窗口函数（WindowFunctions）stream.keyBy().window()//指明窗口的类型.aggregate()//定义窗口具体的处理逻辑在window()方法
THE WHY·2024-01-13 23:36

Flink 源码之OperatorChain

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言OperatorChain是Flink中一个很重要的优化措施，能够将尽可能多的满足条件的数据处理操作在一个slot中串联完成，从而最小化线程执行上下文切换和网络通信
AlienPaul·2024-01-13 20:35

Redis源码分析：基础概念介绍与启动概述

仅作为相关内容的学习记录，有关Redis源码学习阅读比较广泛的便是《Redis设计与实现》一书，浏览学习该书之后，觉得相关内容还是觉得抽象的高度比较高，故对照着代码再阅读学习一下。
小屋子大侠·2024-01-13 19:51

Flink面试题

1、Flink如何保证精确一次性消费Flink保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Flink开启Checkpoint
思旭�·2024-01-13 13:02

spring 5.0.x源码学习系列五: AnnotationConfigApplicationContext类refresh方法之invokeBeanFactoryPostProcessor(一)

前言上篇博客spring5.0.x源码学习系列四:AnnotationConfigApplicationContext类register方法作用主要介绍了register方法的作用。
avengerEug·2024-01-13 12:45

Flink maven日志配置

Flinkmaven日志配置maven配置1.7.30org.slf4jslf4j-api${slf4j.version}org.slf4jslf4j-log4j12${slf4j.version}org.apache.logging.log4jlog4j-to-slf4j2.14.0log4j.properties
老鼠扛刀满街找猫@·2024-01-13 11:15

Flink 2.0 状态管理存算分离架构演进

Flink2.0状态管理存算分离架构演进flink现有状态访问线程模型首先简单来说一下，flink2.0做存算分离，最最主要的一点是解决，大状态的问题，例如一个超过50T的物流数据，大状态恢复可能就要1
Direction_Wind·2024-01-13 11:16

Flink Sink Mysql 简单实现

FlinkSinkMysql简单实现环境解析完整代码源码下载环境简单实现从一个数据源获取数据，根据特定标识字段，将数据sink到不同mysql表中。
这都不是事er·2024-01-13 10:07

Flink 实现Mysql的数据同步 Mysql Sink Mysql

FlinkSinkMysql简单实现环境需求解析完整代码源码下载附：flink-cdc环境组件版本scala2.12netcat*kafka*mysql*flink1.13.3需求监听mysql某个表的动态
这都不是事er·2024-01-13 10:07

Flink SQL - OVER windows‘ ordering in stream mode must be defined on a time attribute.

OVERwindows'orderinginstreammodemustbedefinedonatimeattribute.看着网上flinksql的帖子较少，刚才这个问题查了好久，现在贴下完整源码。
这都不是事er·2024-01-13 10:37

Flink: 如何使用 docker-compose 来启动和测试服务？

ApacheFlink是一款著名的流式计算引擎，但是它的使用docker-compose的教学文档写得不是很清晰，导致我花了几个小时才搞明白如何使用docker-compose来运行例子程序。
surfirst·2024-01-13 10:10

【高级应用】Flink Cep模式匹配

在流式数据中（事件流），筛选出符合条件的一系列动作（事件）【复杂事件处理】什么是Flink-Cep？FlinkCep库Api【实时操作】官方文档什么是Pattern？
不进大厂不改名二号·2024-01-13 10:21

如何基于Flink实现定制化功能的开发

而对于自定义开发功能，Flink则提供了这样的SDK接口能力。本文将从定制化功能需求分析和如何基于Flink构建定制化功能两个方面讲述。一、定制化功能开发的思考2.1为什么要学会定制化功能的开发？
i7杨·2024-01-13 10:21

flink创建表报错

flink创建表报错前言使用flink在读取rabbitmq消息队列创建表：前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习
～四时春～·2024-01-13 10:50

Flink生产环境依赖

Flink生产环境依赖版本如下：881.14.61.82.12org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java
公子乂·2024-01-13 10:19

Flink CDC 实时抽取 Oracle 数据-排错&调优

前言FlinkCDC于2021年11月15日发布了最新版本2.1，该版本通过引入内置Debezium组件，增加了对Oracle的支持。
Denny辉·2024-01-13 09:48

Flink

一、Flink发展第一代：Storm低延迟，无法保证准确性以及很难实现高吞吐量。
928-y·2024-01-13 09:15

Flink算子简单测试样例

Flink算子简单测试样例1.创建执行环境//创建执行环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
公子乂·2024-01-13 09:13

Flink集成Hive之Hive Catalog

流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流表insert进Hive,注意分区时间字段需要为yyyy-MM-dd形式,否则抛出异常
实时即未来·2024-01-13 09:44

Spark Streaming

人们对于大数据的实时性处理要求也在不断提高，传统的MapReduce等批处理框架在某些特定领域，例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求，因此诞生了一批如S3、Samza、Storm、Flink
奋斗的蛐蛐·2024-01-13 06:13

Flink

GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘，可以处理海量数据；Spark基于内存，性能提高百倍，微批（500ms）；Flink基于
三半俊秀·2024-01-13 01:53

Flink State 和 Fault Tolerance（一）

Overview有状态函数（Statefulfunction）和算子（Operator）在处理独立的数据或事件时存储数据，使得状态（State）成为任何复杂算子中的关键部分，例如：当应用检索特定的事件模式，State将存储到接收到的事件的序列当按照分钟/小时/天的唯独聚合事件时，状态将保留待处理的聚合状态当在流数据上进行机器学习的模型训练时，状态保存模型当前版本的参数当需要管理历史数据时，状态允许
Alex90·2024-01-12 22:29

Flink会话集群docker-compose一键安装

spm=1001.2014.3001.55012、flink-conf.yamlflink-conf.yaml放在/home/flink/conf/job、/home/flink/conf/task下面
core512·2024-01-12 17:30

准备数据集用于flink学习

GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；在学习和开发flink
程序员欣宸·2024-01-12 16:35

Flink SQL CDC 实践以及一致性分析

摘要：本文由民生银行王健、文乔分享，主要介绍民生银行FlinkSQLCDC实践以及一致性分析。
Apache Flink·2024-01-12 15:10

自定义Flink SourceFunction定时读取数据库

文章目录前言一、自定义FlinkSourceFunction定时读取数据库二、java代码实现总结前言Source是Flink获取数据输入的地方，可以用StreamExecutionEnvironment.addSource
shandongwill·2024-01-12 15:08

flink 保存点测试

首先需要去flinkui上找到自己的jobid，ui端口默认是8081执行命令flinkcancel--withSavepoint/flinkCDC/saveeaf2a70b59827948a1cef7ecc9723206
向他一样rap·2024-01-12 14:07

Github 2024-01-12Java开源项目日报 Top10

根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Java项目10Vue项目3ApacheFlink:开源流处理框架创建周期：3506天开发语言：Java协议类型：ApacheLicense2.0Star
孙琦Ray·2024-01-12 12:49

深入理解 Flink（七）Flink Slot 管理详解

2.Flink的资源管理机制资源调度的大体流程如下：a.TaskExecutor注册Register：当TaskExecutor启动之后，会向Resource
我很ruo·2024-01-12 11:23

【大数据面试】Flink面试题附答案

目录1、背压问题2、Flink是如何支持批流一体的3、Flink任务延迟高，想解决这个问题，你会如何入手4、Flink的监控页面，有了解吗，主要关注那些指标？5、你们之前Flink集群规模有多大？
话数Science·2024-01-12 11:51

深入理解 Flink（六）Flink Job 提交和 Flink Graph 详解

FlinkProgram编程套路回顾1、获取执行环境对象StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
我很ruo·2024-01-12 10:48

java编写flink连接kafka常见问题总结

文章目录控制台输出问题没有执行计划问题不能执行sql问题动态表转为动态流问题控制台输出问题问题描述代码运行一会就结束，没有错误提示，也没有运行结果解决方法两种情况第一种日志没配好添加依赖org.apache.logging.log4jlog4j-slf4j-impl${log4j.version}org.apache.logging.log4jlog4j-api${log4j.version}or
一只小呆呆·2024-01-12 10:44

【hudi】hudi表 常用字段类型SQL api测试

一、flinksqlapidroptablemy_db.hudi_type_flink;CREATETABLEmy_db.hudi_type_flink(boolean_tboolean,tinyint_ttinyint
lisacumt·2024-01-12 09:39

关于Tomcat源码学习 这里是一些建议

关于Tomcat源码学习，可以从以下方面开始：了解Tomcat的基本架构首先，了解Tomcat的整体架构，包括Catalina（核心容器）、Jasper（JavaServerPages引擎）和Coyote
KevinAha·2024-01-12 08:29

Flink异步IO

本文讲解Flink用于访问外部数据存储的异步I/OAPI。对于不熟悉异步或者事件驱动编程的用户，建议先储备一些关于Future和事件驱动编程的知识。
大数据技术派·2024-01-12 07:00

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive

说明Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223·2024-01-12 06:08

数据同步工具chunjun(flinkx)-1.12.7 使用tips

目录本文旨在记录chunjun使用过程中的tips，并且记录与官网描述不符的地方，以减少学习成本1、在编写json的时候推荐使用在线json编辑器：2、类似MySQLMySQL这种需要编写带jdbcUrl的任务，注意reader和writer中jdbcUrl类型不一致3、以kafka—>mysql举例解释字段间的映射关系4、kafka—>mysql，当kafka输入脏数据时，mysql会写入空行5
省略号的搬运工·2024-01-12 01:36

kafka查看Topic列表及消费状态等常用命令

/kafka-topics--zookeeper166.188.xx.xx--create--topicflink_source--partitions1--replication-factor1replication-factor
码农九珍·2024-01-12 00:45

Kafka - Topic 消费状态常用命令

/kafka-topics--zookeeper166.188.xx.xx--create--topicflink_source--partitions1--replication-factor1replication-factor
放羊的牧码·2024-01-12 00:13

Flink中的状态管理

一.Flink中的状态1.1概述在Flink中，算子任务可以分为有状态和无状态两种状态。无状态的算子任务只需要观察每个独立事件，根据当前输入的数据直接转换输出结果。
- Hola -·2024-01-11 23:46

Flink 源码之 KafkaSource

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言FLIP-27:RefactorSourceInterface-ApacheFlink-ApacheSoftwareFoundation
AlienPaul·2024-01-11 21:53

【动态读取配置文件】ParameterTool读取带环境的配置信息

不同环境Flink配置信息是不同的，为了区分不同环境的配置文件，使用ParameterTool工具读取带有环境的配置文件信息区分环境的配置文件三个配置文件：flink.properties：决定那个配置文件生效
不进大厂不改名二号·2024-01-11 15:26

PiflowX组件 - Filter

计算引擎flink组件分组common端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子conditioncondition“”无是过滤条件。
暗影八度·2024-01-11 13:47

PiflowX-MysqlCdc组件

计算引擎flink组件分组cdc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostnameHostname“”无是MySQL数据库服务器的IP地址或主机名
暗影八度·2024-01-11 13:14

SpringBoot中使用单例模式+ScheduledExecutorService实现异步多线程任务(若依源码学习)

场景若依前后端分离版手把手教你本地搭建环境并运行项目：若依前后端分离版手把手教你本地搭建环境并运行项目_本地运行若依前后端分离-CSDN博客设计模式-单例模式-饿汉式单例模式、懒汉式单例模式、静态内部类在Java中的使用示例：设计模式-单例模式-饿汉式单例模式、懒汉式单例模式、静态内部类在Java中的使用示例_静态类java饿汉-CSDN博客Java中创建线程的方式以及线程池创建的方式、推荐使用T
霸道流氓气质·2024-01-11 13:43

The Next Generation of Apache Flink

摘要：本文整理自阿里云智能Flink分布式执行负责人、ApacheFlinkPMC成员、Flink2.0ReleaseManager宋辛童老师在FlinkForwardAsia2023主会场的分享。
Apache Flink·2024-01-11 13:39

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景自如目前线上有基于Hive的离线数仓和基于Flink、Kafka的实时数仓，随着业务发展，我们也在探索引入湖仓一体的架构更好的支持业务，我们对比了Iceberg、Hudi、Paimon后，最终选择
Apache Flink·2024-01-11 13:09
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他