大数据框架flink 第90页

车云一体化系统基础理论

车云一体化系统基础理论介绍目标正文参考文档介绍最近在调研车云链路一体化的整套解决方案，涉及分布式消息队列（RocketMQ）、分布式存储（Doris）、离线数据处理（Spark）、用户行为日志分析（Flink

SchopenhauerZhang·2023-08-08 23:53

Flink学习笔记之九状态和容错

一.理解状态1.什么是状态其实是某一个时刻，计算的结果，一般是operator/task，保存在内存，由于Flink分布式的运行，所以根据体系结构runtime，会设计到TaskManager的slot

天火燎原_e548·2023-08-08 21:42

大数据-玩转数据-Flink-Transform（上）

DataStream.程序可以把多个复杂的转换组合成复杂的数据流拓扑.二、基本转换算子2.1、map（映射）将数据流中的数据进行转换,形成新的数据流，消费一个元素并产出一个元素packagecom.lyh.flink05

人猿宇宙·2023-08-08 17:31

【大数据】Flink 详解（二）：核心篇 Ⅰ

Flink详解（二）：核心篇Ⅰ14、Flink的四大基石是什么？

G皮T·2023-08-08 16:33

日志消息直接发送到kafka设计

本文我们就来看一下这种日志消息的流转图技术方案：目前比较常用的方式是首先日志落盘到本地磁盘文件中，然后通过flume集群采集本地磁盘文件的日志，然后再把这些日志统一推送到kafka集群中，随后实时处理框架比如flink

lixia0417mul2·2023-08-08 09:20

flink的ProcessWindowFunction函数的三种状态

背景在处理窗口函数时，ProcessWindowFunction处理函数可以定义三个状态：富函数getRuntimeContext.getState,每个key+每个窗口的状态context.windowState(),每个key的状态context.globalState，那么这几个状态之间有什么关系呢？ProcessWindowFunction处理函数三种状态之间的关系：1.getRuntim

lixia0417mul2·2023-08-08 09:20

kafka消息自带时间戳类型

背景事情起源于flink消费kafka消息的一个项目，大概流程是根据kafka记录中的时间戳进行分窗统计一批记录中包含某种模式的消息的个数，有一天，由于目前的kafka集群要更新维护，运维反馈我们可以切换到另一个

lixia0417mul2·2023-08-08 09:50

flink kafka消费者如何处理kafka主题的rebalance

背景：我们日常使用kafka客户端消费kafka主题的消息时，当消费者退出/加入消费者组，kafka主题分区数有变等事件发生时，都会导致rebalance的发生，此时一般情况下，如果我们不自己处理offset，我们不需要理会这个rebalance的，当rebalance完成后，每个消费者会从__consumer_offsets中获取每个消费者此时的消费偏移位置，继续进行消费，此时有可能会重复消费.

lixia0417mul2·2023-08-08 09:18

FlinkCheckpoint 问题排查

FlinkCheckpoint问题排查1.FlinkCheckpoint流程在使用Flink时，我们基本都会用到Checkpoint，也难免不会遇到Checkpoint慢或者失败等问题，如果想要排查这些问题

锋火连天·2023-08-08 08:37

flink如何监听kafka主题配置变更

背景：从前一篇文章我们知道flink消费kafka主题时是采用的手动assign指定分区的方式，这种消费方式是不处理主题的rebalance操作的，也就是消费者组中即使有消费者退出或者进入也是不会触发消费者所消费的分区的

lixia0417mul2·2023-08-08 07:41

【已解决】Flink连接JDBC报错 org.apache.flink.runtime.client.JobExecutionException: Job execution failed.

Causedby:org.apache.flink.runtime.JobException:RecoveryissuppressedbyNoRestartBackoffTimeStrategyCausedby

程序终结者·2023-08-08 06:47

基于大数据框架的协同过滤算法餐饮推荐系统【Update2023-6-25】

程序终结者·2023-08-08 06:47

【flink】Chunk splitting has encountered exception

执行任务报错：Chunksplittinghasencounteredexception错误信息截图：完整的错误信息：16:30:43,911ERRORorg.apache.flink.runtime.source.coordinator.SourceCoordinator

醇氧·2023-08-08 06:41

flink时间概念和watermark详解

一、flink支持的时间概念类型1.1、流计算与时间属性密不可分相比较于离线计算，流计算往往离不开讨论时间这个概念，因为离线计算是有界数据，用户输入一个固定的数据集，离线计算引擎会输出一个固定的结果，这中间涉及的中间状态

愤怒的谜团·2023-08-08 01:37

3.核心抽象

3.1环境对象StreamExecutionEnvironment是Flink应用开发时的概念，表示流计算作业的执行环境，是作业开发的入口、数据源接口、生成和转换DataStream的接口、数据Sink

StephenYYYou·2023-08-07 23:19

flink读RocketMQ自定义source

publicclassRocketMQSourceDemoextendsRichParallelSourceFunctionimplementsCheckpointedFunction,CheckpointListener,ResultTypeQueryable{privatestaticfinallongserialVersionUID=1L;privatestaticfinalLoggerLO

bigdata张凯翔·2023-08-07 13:05

flink ... Aborting checkpoint. Failure reason: Not all required tasks are currently running.

exception:...(s8,1651649852323,-0.5016369965544841)>>>>>>>>>>>>>>>>>>>>>>>>task:0collectsensordata[(s8,1651649847591,-1.2380488385396649)](s8,1651649847591,-1.2380488385396649)>>>>>>>>>>>>>>>>>>>>>>>>

jiayeliDoCn·2023-08-07 08:23

markdown 流程图语法

`2.声明图形方向（TB上到下，LR左到右）graphLR3.声明图标source(dataGenerator)mysql[mysqlDB]kafka[kafka]phoenix((phoenix))flinkDataSync

jiayeliDoCn·2023-08-07 08:53

Killing LeetCode [82] 删除排序链表中的重复元素 II

IntroRefLink：https://leetcode.cn/problems/remove-duplicates-from-sorted-list-ii/Difficulty：MediumTag：

VivienneW_w·2023-08-07 07:26

【flink】使用flink-web-ui提交作业报错

错误截图：弹框信息：ServerResponseMessage:org.apache.flink.runtime.rest.handler.RestHandlerException:Couldnotexecuteapplication.atorg.apache.flink.runtime.webmonitor.handlers.JarRunHandler.lambd

醇氧·2023-08-07 06:56

Killing LeetCode [83] 删除排序链表中的重复元素

IntroRefLink：https://leetcode.cn/problems/remove-duplicates-from-sorted-list/Difficulty：EasyTag：LinkedListUpdatedDate

VivienneW_w·2023-08-07 06:53

【flink】开启savepoint

先启动一个任务flinkrun-ccom.yang.flink.CDCJobtest-cdc.jar开启savepoint命令：flinksavepointJobID文件地址flinksavepointe929a11d79bdc5e6f140f2cfb92e1335file

醇氧·2023-08-07 06:51

源码解析Flink源节点数据读取是如何与checkpoint串行执行

源码解析Flink源节点数据读取是如何与checkpoint串行执行Flink版本：1.13.6前置知识：源节点的Checkpoint是由Checkpointcoordinate触发，具体是通过RPC调用

过悟·2023-08-07 06:14

【大数据】Flink 详解（一）：基础篇

Flink详解（一）：基础篇1、什么是Flink？Flink是一个以流为核心的高可用、高性能的分布式计算引擎。

G皮T·2023-08-07 06:12

流数据湖平台Apache Paimon（四）集成 Hive 引擎

文章目录第3章集成Hive引擎3.1环境准备3.2访问已有的Paimon表3.3创建Paimon表3.4通过外部表访问Paimon表第3章集成Hive引擎前面与Flink集成时，通过使用paimonHiveCatalog

Maynor996·2023-08-07 06:42

大数据学习笔记

大数据学习笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据（BigData）指无法在一定时间范围内用常规软件工具进行捕捉

smilinggg·2023-08-07 04:59

写几个好用的Linux脚本

安装rsync[root@flink01~]#yuminstall-yrsyncxsync脚本编写我这写在常用用户的bin目录下了，之后所有基本我也会写在该目录。xsync

阿文灬·2023-08-07 02:12

flink on yarn 测试环境搭建

flinkonyarn测试环境搭建软件版本hadoop2.7.3flink0.8.0jdk-8u171-linux-x64tar-zxvfjdk-8u171-linux-x64.tar.gzmvjdk1.8.0

长名字可以让你朋友更容易记住你·2023-08-07 00:23

2.Flink应用

2.1数据流DataStream：DataStream是Flink数据流的核心抽象，其上定义了对数据流的一系列操作DataStreamSource：DataStreamSource是DataStream

StephenYYYou·2023-08-07 00:19

Flink CEP（三）pattern动态更新

1.实现分析外部加载：通常规则引擎会有专门的规则管理模块，提供用户去创建自己的规则，对于Flink任务来说需要到外部去加载规则动态更新：需要提

StephenYYYou·2023-08-07 00:18

聊聊flink Table Schema的定义

序本文主要研究一下flinkTableSchema的定义实例定义字段及类型.withSchema(newSchema().field("MyField1",Types.INT)//required:specifythefieldsofthetable

go4it·2023-08-06 20:23

FLINK JDBC SQL Connector遇到的类型转换问题

背景Flink1.3最近在写FlinkSql的时候，遇到了java.lang.ClassCastException:java.lang.Integercannotbecasttojava.lang.Long

鸿乃江边鸟·2023-08-06 19:51

nsenter 调试容器命令

[root@k8s-compute-03~]#dockerexec-itc947dcc2e73ebashroot@flink-taskmanager-0:/opt/flink#exitexit###下面命

胖胖胖胖胖虎·2023-08-06 11:05

Hadoop大数据框架研究（4）——Hive环境部署及使用

近期对hadoop生态的大数据框架进行了实际的部署测试，并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结，以便相互交流学习。

gisxy·2023-08-06 11:03

Apache Flink 进阶（六）：Flink 作业执行深度解析

作者：岳猛整理：平凡的世界-zkx本文根据ApacheFlink系列直播课程整理而成，由ApacheFlinkContributor、网易云音乐实时计算平台研发工程师岳猛分享。

bigdata张凯翔·2023-08-06 08:27

Flink开发环境准备: centos-jdk8

linux-jdk8-Flink开发环境准备一、基本介绍二、环境准备1.1JDK环境1.2开发工具1.3Maven环境三、flink下载安装配置3.1Flink下载3.2flink本地模式安装-linux3.3

黎陌MLing·2023-08-06 08:47

Scala语言学习五（高级用法）

Scala高级用法样例类样例类是一种特殊类，它可以用来快速定义一个用于保存数据的类（类似于JavaPOJO类），在后续要学习并发编程和spark、flink这些框架也都会经常使用它。

做个合格的大厂程序员·2023-08-06 07:43

Flink反压与背压

Flink用什么监控，监控什么？如何有效处理数据积压？

Matthew117·2023-08-06 06:42

flink1.17 eventWindow不要配置processTrigger

理论上可以eventtimeprocesstime混用,但是下面代码测试发现bug,输入一条数据会一直输出.flinkgithub无法提bug/问题.apachejira账户新建后竟然flink又需要一个账户

Thomas2143·2023-08-06 05:33

Flink 自定义UDTF函数同步数组类型到ES中

将Mysql中test表同步到ES中，并且将tags(逗号分隔的字符串)转化数组同步到ES中的数组。Mysql中test表结构CREATETABLE`test`(`id`int(10)UNSIGNEDNOTNULLAUTO_INCREMENT,`name`varchar(100)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNOTNULL,`tags`va

lodestar·2023-08-06 04:18

Flink SQL on Zeppelin - 打造自己的可视化Flink SQL开发平台

我们在之前的文章中详细介绍过Zepplin的来龙去脉，很多大厂基于Flink开发了自己的SQL开发平台。更多的公司可能需要选择一种低成本接入，尽量复用开源的解决方案答案快速支撑业务发展。

王知无(import_bigdata)·2023-08-05 22:56

深入理解flinksql执行流程,calcite与catalog相关概念,扩展解析器实现语法的扩展

深入理解FlinkSql执行流程1FlinkSQL解析引擎1.1SQL解析器1.2Calcite处理流程1.2.1SQL解析阶段（SQL–>SqlNode）1.2.2SqlNode验证（SqlNode–

Direction_Wind·2023-08-05 22:55

【开发问题】flink的sql任务，用命令行执行

flink-sql命令行flink-sql的客户端sql文件地址sql的内容命令行/mnt/flink/flink-1.17.1/bin/sql-client.shembedded-f/mnt/flink

吃素的哈士奇·2023-08-05 22:54

flink1.17 json_tuple udf 实现

使用效果思路:flink1.17要求复杂类型必须通过hint指定每个字段类型,只有固定个数,都是基础类型的flink才能自动推断.这就导致json_tuple返回不定长参数无法搞定.所以这里通过返回字符串数组来解决

Thomas2143·2023-08-05 16:17

flink 自定义trigger

背景：一般情况下，窗口操作都有默认的窗口触发器，有时候默认的trigger不满足条件，就需要我们自己去定义相应的trigger去决定处理窗口数据的时间。Trigger抽象类触发器接口有五种方法，允许触发器对不同的事件作出反应onElement()添加到每个窗口的元素都会调用此方法。onEventTime()当注册的事件时间计时器触发时，将调用此方法。onProcessingTime()当注册的处理

落鱼...·2023-08-05 14:58

Flink1.17最新版本学习记录

一、初始Flink1、Flink是什么1）ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。

xuzhengzhou·2023-08-05 14:28

官宣｜Apache Flink 1.17 发布公告

作者：徐榜江（雪尽）@阿里云ApacheFlinkPMC（项目管理委员）很高兴地宣布发布ApacheFlink1.17.0。

Apache Flink·2023-08-05 14:27

Flink专题五：Flink 中自定义Sink

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第五篇文章自定义SinkSink介绍SinkFunction接口介绍RichSinkFunction类介绍Sink介绍

beyond的架构之旅·2023-08-05 14:25

Flink 自定义Trigger实现带超时时间的计数窗口

Time.seconds(10L)).trigger(CountTimeoutTrigger(100L,TimeCharacteristic.ProcessingTime))importorg.apache.flink.api.common.functions.ReduceFuncti

Jomplte·2023-08-05 14:55

FlinkKafkaConsumer＜＞在 Flink 1.17 中移除

FlinkKafkaConsumer<>FlinkKafkaConsumer已被弃用并将在Flink1.17中移除，请改用KafkaSource。

今天我牙疼·2023-08-05 14:55

推荐频道

大数据框架flink