flink流式处理

flink实战--HistoryServer配置与应用

背景回想一下，在实际线上开发flink任务时，是否存在这样的需求：flink实时任务掉线了，此时我们再去查看yarn的web页面最多也只能查看JobManager的日志了，像检查点，处理的数据量，水印等指标如果没有
阿华田512·2023-11-09 05:58

Flink 基础 -- 应用开发(项目配置)

每个Flink应用程序都依赖于一组Flink库。至少，应用程序依赖于Flinkapi，此外，还依赖于某些连接器库(如Kafka,Cassandra)和第三方依赖，用户需要开发自定义函数来处理数据。
chinusyan·2023-11-09 05:56

19、Flink 的Table API 和 SQL 中的自定义函数及示例（3）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-09 05:26

Flink Window那些事——AggregateFunction窗口函数

原文链接：FlinkWindow那些事——AggregateFunction窗口函数-Ruthless-博客园AggregateFunction比ReduceFunction更加的通用，它有三个参数:输入类型
minmin很潇洒·2023-11-09 04:35

Flink 窗口聚合函数之AggregatFunction实践

一、AggregatFunction概念Flink的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数,AggregateFunction接口相对ReduceFunction
追风dylan·2023-11-09 04:35

Flink自定义聚合AggregateFunction实现计算特定时间内某个字段的TP99

业务场景:统计所有请求时间到返回结果时间的的TP99，TP50等等我参考了flink官方文档自定义函数虽然可以，但是处理数据的性能降低了之后有参考flink实战-使用自定义聚合函数统计网站TP指标，才知道如果存储状态的
胖墩的IT·2023-11-09 04:35

flink中AggregateFunction 执行步骤以及含义全网详细解释

packageoperator;importorg.apache.flink.api.common.functions.AggregateFunction;importorg.apache.flink.api.common.functions.FlatMapFunction
1534437818·2023-11-09 04:05

聊聊flink Table的AggregateFunction

序本文主要研究一下flinkTable的AggregateFunction实例/***AccumulatorforWeightedAvg.
D_SJ·2023-11-09 04:05

flink的带状态的RichFlatMapFunction函数使用

背景使用RichFlatMapFunction可以带状态来决定如何对数据流进行转换，而且这种用法非常常见，根据之前遇到过的某个key的状态来决定再次遇到同样的key时要如何进行数据转换，本文就来简单举个例子说明下RichFlatMapFunction的使用方法RichFlatMapFunction使用示例下面的例子的输入是不用name下的count数量值，当本次name的数量和前一次name的数量
lixia0417mul2·2023-11-09 04:04

flink窗口函数ReduceFunction、AggregateFunction、ProcessFunction实例

1、ReduceFunction增量,输入、状态、输出类型相同importorg.apache.flink.api.common.eventtime.SerializableTimestampAssigner
苏工从不加班!!!·2023-11-09 04:04

flink的KeyedBroadcastProcessFunction测试

背景我们经常需要对KeyedBroadcastProcessFunction函数进行单元测试，以确保上线之前这个函数的功能是正常的，包括里面的广播状态和键值分区状态测试KeyedBroadcastProcessFunction类@TestpublicvoidtestHarnessForKeyedBroadcastProcessFunction()throwsException{KeyedBroad
lixia0417mul2·2023-11-09 04:34

flink测试map转换函数和process函数

背景在flink中，我们需要对我们写的map转换函数，process处理函数进行单元测试，测试的内容包括查看函数的输出结果是否符合以及函数内的状态是否正确更新，本文就记录几个测试过程中的要点flink中测试函数首先我们根据我们要测试的是数据流的类型选择不同的测试套件
lixia0417mul2·2023-11-09 04:34

Flink中aggregate[AggregateFunction]的使用及讲解

Flink的aggregate()方法一般是通过实现AggregateFunction接口对数据流进行聚合计算的场景。
飞天小老头·2023-11-09 04:04

flink的AggregateFunction,merge方法作用范围

背景AggregateFunction接口是我们经常用的窗口聚合函数，其中有一个merge方法，我们一般情况下也是实现了的，但是你知道吗，其实这个方法只有在你使用会话窗口需要进行窗口合并的时候才需要实现AggregateFunction.merge方法调用时机AggregateFunction.merge方法其实只有在使用会话窗口进行窗口合并的时候才会用到，如下所示对应的源码首先查看WindowO
lixia0417mul2·2023-11-09 04:03

面经-数仓-高途

1.hive和spark差异，优劣2.sql连续3天登陆3.sql行转列，列转行4.多维度groupingsets5.python装饰器6.数据质量7.sql关联键数据类型不一致，会有什么结果1.flink
piscessssss·2023-11-09 03:06

Flink（四） 状态管理 1

1.1有状态和无状态：Flink不是要做流处理嘛。
小雨光·2023-11-09 01:18

Flink集群的搭建

1、Flink独立集群模式1、首先Flink的独立集群模式是不依赖于Hadoop集群。
新手小农·2023-11-09 01:48

Flink 状态管理

一、状态分类相对于其他流计算框架，Flink一个比较重要的特性就是其支持有状态计算。
Cynicism_Kevin·2023-11-09 01:48

Flink-状态管理

Flink状态管理有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。
今天,我和你拼了·2023-11-09 01:48

Flink之状态编程

状态编程是Flink最出色的功能没有之一一、什么是状态？
阿远的小一·2023-11-09 01:18

Flink之状态管理

Flink状态管理状态概述状态分类键控、按键分区状态概述值状态ValueState列表状态ListStateMap状态MapState归约状态ReducingState聚合状态AggregatingState
CodeDevMaster·2023-11-09 01:17

Flink 容错机制CheckPoint 与 反压机制

这里目录1.简介2、Flink搭建3、Flink运行架构4、程序与数据流（DataFlow）5、Flink流处理API6、Window窗口机制7、时间语义与watermark8、状态管理State9、ProcessFunctionAPI
忄凝^·2023-11-08 21:08

Flink-4（运行机制、检查点设置）

Flink-4Flink运行机制运行时组件任务提交流程任务调度原理程序和数据流（DataFlow）执行图（ExecutionGraph）数据传输形式任务链（OperatorChains）一致性检查点（checkpoint
getBinary·2023-11-08 21:38

Flink-容错机制(检查点、状态一致性、端到端精确一次)

检查点的保存从检查点恢复状态检查点算法检查点配置保存点（Savepoint）状态一致性一致性的概念和级别端到端的状态一致性端到端精确一次（end-to-endexactly-once）输入端保证输出端保证Flink
迷雾总会解·2023-11-08 21:38

大数据技术之Flink容错机制--检查点与保存点的比较（上）

#大数据技术之Flink–检查点与保存点的比较在flink中有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点。检查点（checkPoint）1.什么是检查点？
I披荆斩棘I·2023-11-08 21:08

Flink的检查点（checkpoint）

Flink具体如何保证exactly-once呢?
拾荒路上的开拓者·2023-11-08 21:37

FlinK之检查点与保存点机制

检查点与保存点检查点Checkpoint概述保存时机保存与恢复检查点算法检查点配置启用检查点指定存储位置其它配置通用增量保存点Savepoint概述使用保存点切换状态后端检查点Checkpoint概述在Flink
CodeDevMaster·2023-11-08 21:36

Flink往Starrocks写数据报错：too many filtered rows

Bug信息Causedby:com.starrocks.data.load.stream.exception.StreamLoadFailException:{"TxnId":2711690,"Label":"cd528707-8595-4a35-b2bc-39b21087d6ec","Status":"Fail","Message":"toomanyfilteredrows","NumberTo
SunnyRivers·2023-11-08 19:01

Flink架构

1、ApacheFlink集群的核心架构：1、client（作业客户端）：提交任务的地方叫做客户端2、JobManager（作业管理器）：作用是用于管理集群中任务3、TaskManager（任务管理器）
新手小农·2023-11-08 17:37

Flink -- 状态与容错

2、CheckPoint：1、CheckPoint：定时将Flink的计算的状态持久化到Hdfs上，如果Flink的任务
新手小农·2023-11-08 17:37

flink sql 如何upsert 到一张hologres表中

FlinkTable的三种Sink模式作为计算引擎Flink应用的计算结果总要以某种方式输出，比如调试阶段的打印到控制台或者生产阶段的写到数据库。
宇文智·2023-11-08 13:04

flink状态和检查点

检查点和状态后端的区别检查点就是某个时间点下的所有算子的状态快照。这个时间点就是等所有任务将“同一个数据”处理完毕的时候。状态后端：是一个管理状态的组件，还负责将本地状态（检查点）持久化到远程文件存储系统中。分类：(1)基于内存的hashmap状态后端。性能高，但是有内存资源耗尽的风险(2)基于rocksdb持久化存储的状态后端。适用于状态大，窗口长的情况下，因为会序列化和反序列化，访问状态的性能
宇文智·2023-11-08 13:26

[1133]flink问题集锦

文章目录问题1：CouldnotgetjobjaranddependenciesfromJARfile:JARfiledoesnotexist:-yn原因：flink1.8版本之后已弃用该参数，ResourceManager
周小董·2023-11-08 13:56

Flink Table/SQL自定义Sources和Sinks全解析（附代码）

动态表是FlinkTable和SQLAPI处理有界和无界数据的核心概念。
BigDataToAI·2023-11-08 09:59

Flink之处理函数

Flink之处理函数一、准备1.1、Event类1.2、EventWithWatermarkSource类二、处理函数分类2.1、ProcessFunction2.1.1、函数详解2.1.2、基本使用2.2
码上_成功·2023-11-08 09:26

Kafka与Flink的整合 -- sink、source

1、首先导入依赖：org.apache.flinkflink-connector-kafka1.15.22、source：Flink从Kafka中读取数据publicclassDemo01KafkaSource
新手小农·2023-11-08 09:54

Kafka -- Java API

org.apache.kafkakafka-clients1.0.02、编写代码：publicclassDemo01{publicstaticvoidmain(String[]args){//使用java向flink
新手小农·2023-11-08 09:54

Flink SQL TopN语句详解

TopN定义（⽀持Batch\Streaming）：TopN对应离线数仓的row_number()，使⽤row_number()对某⼀个分组的数据进⾏排序。应⽤场景：根据某个排序条件，计算某个分组下的排⾏榜数据。SQL语法标准：SELECT[column_list]FROM(SELECT[column_list],ROW_NUMBER()OVER([PARTITIONBYcol1[,col2...
猫猫爱吃小鱼粮·2023-11-08 09:14

Flink SQL Window TopN 详解

WindowTopN定义（⽀持Streaming）：WindowTopN是特殊的TopN，返回结果是每⼀个窗⼝内的N个最⼩值或者最⼤值。应⽤场景：TopN会出现中间结果，出现回撤数据，WindowTopN不会出现回撤数据，因为WindowTopN是在窗⼝结束时输出最终结果，不会产⽣中间结果。注意：因为是窗⼝上⾯的操作，WindowTopN在窗⼝结束时，会⾃动把State清除。SQL语法标准：SEL
猫猫爱吃小鱼粮·2023-11-08 08:56

flink的CoProcessFunction使用示例

背景在flink中对两个流进行connect之后进行出处理的场景很常见，我们本文就以书中的一个例子为例说明下实现一个CoProcessFunction的一些要点实现CoProcessFunction的一些要点这个例子举例的是当收到某个传感器放行的控制消息时
lixia0417mul2·2023-11-08 08:56

Flink--Data Source 介绍

DataSource简介Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink
墨子白·2023-11-08 08:52

CVE-2021-44228——Log4j2-RCE漏洞复现

漏洞利用无需特殊配置，经阿里云安全团队验证，ApacheStruts2、ApacheSolr、ApacheDruid、ApacheFlink等均受影响。
Li-D·2023-11-08 05:00

Hudi学习3：数据湖主流架构

deltaLakeIcebergiceberg表可以扩展Hudi支持flink，并且支持快速upsert/delete
hzp666·2023-11-08 04:40

搭建DMETL与使用

创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink
abiubiu~·2023-11-08 03:14

DMETL部署测试记录

创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink
xufei_9527·2023-11-08 03:14

DMETL5工具安装部署（图形化安装）

创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink
Dfnygs·2023-11-08 03:43

flink集群搭建

1flink下载2.上传安装包3解压4修改配置文件4.1配置slaves4.2修改配置文件flink-conf.yaml5传送安装包到集群其他服务器6启动集群7验证7.1本地提交作业7.2打包提交作业1flink
菜菜的中年程序猿·2023-11-07 22:49

快速部署一个Flink集群

文章目录环境配置集群启动下载并解压安装包向集群提交作业在WebUI上提交作业命令行提交这里需要提到Flink中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager
Alienware^·2023-11-07 22:19

【flink集群+高可用搭建】

flink1.集群搭建上传flink压缩包到指定目录解压tar-zxvfflink-1.10.1-bin-scala_2.12.tgz重命名mvflink-1.10.1flink配置环境变量：exportFLINK_HOME
长安不问·2023-11-07 22:49

腾讯云部署flink集群standalone模式

0、准备条件1、两台服务器，必须要再同一个vpc网络下，用内网地址可以ping通，腾讯云是同一个账号同一个地域的服务器会自动分配到同一个vpc下面（腾讯云稍微便宜点）2、开放防火墙，一个是安全组规则，一个是firewalld服务开放安全组关闭firewalldsystemctlstopfirewalldsystemctldisablefirewalld3、编辑所有服务器的/etc/hosts文件4
Ayu大象·2023-11-07 22:48
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他