flink流式处理

Flink-源算子-读取数据的几种方式

Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源（datasource），而读取数据的算子就是源算子（sourceoperator）。
Stephen6Yang·2023-12-14 16:04

Flink之流的转换

ProcessFuncion处理函数功能拥有富函数功能-生命周期方法-状态编程对元素的处理功能processElement,在不同的处理函数中，该方法的名字略有区别定时器编程TimeService:定时服务,可以用于注册定时器，删除定时器ontimer():定时器触发后会自动调用该方法，我们将需要完成的工作写到该方法中侧输出流分类processFunction:普通流DataStream调用key
十七✧ᐦ̤·2023-12-14 16:34

Flink之状态编程

状态的分类托管状态：由Flink统一管理的，状态的存储访问、故障恢复和重组等一系列问题都由Flink实现。算子状态：状态由算子内所
十七✧ᐦ̤·2023-12-14 16:34

Flink之keyby状态

KeyedState值状态：维护一个具体的值ValueState继承自StateTvalue():从状态中获取维护的数据update():更新状态列表状态：可以当成List使用，维护多个值add():添加一个状态addAll()：添加多个状态，不会覆盖原有的状态get()：获取状态update()：将指定集合的数据直接更新到状态中，会覆盖原有的状态clear()：清空状态Map状态：维护一个Map
十七✧ᐦ̤·2023-12-14 16:34

【自定义Source、Sink】Flink自定义Source、Sink对ClickHouse进行读和批量写操作

ClickHouse官网文档Flink读取ClickHouse数据两种驱动ClickHouse官方提供ClickhouseJDBC.
不进大厂不改名二号·2023-12-14 16:03

Flink 项目系列

Flink项目系列1-项目介绍-墨天轮Flink实时电商实战项目:基于尚硅谷开源项目的Flink电商实战项目（全流程）大数据Flink电商数仓实战项目流程全解（一）_尚硅谷flinksql大数据项目实战
清风明月一壶酒·2023-12-14 16:22

【Table/SQL Api】Flink Table/SQL Api表转流读取MySQL

引入依赖jdbc依赖flink-connector-jdbc+mysql-jdbc-driver操作mysql数据库org.apache.flinkflink-connector-jdbc_${scala.binary.version
不进大厂不改名二号·2023-12-14 16:44

Flink的容错机制

容错机制容错：指出错后不影响数据的继续处理，并且恢复到出错前的状态。检查点：用存档读档的方式，将之前的某个时间点的所有状态保存下来，故障恢复继续处理的结果应该和发送故障前完全一致，这就是所谓的检查点。检查点的控制节点：jobManager里面的检查点协调器，向source节点的数据插入barrier标记。检查点的保存：-周期性触发保存-保存的时间点：所有算子恰好处理完一个相同的输入数据时(使用Ba
十七✧ᐦ̤·2023-12-14 16:44

【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里

文章目录一.sql执行流程源码分析1.Sql语句解析成语法树阶段（SQL->SqlNode）2.SqlNode验证（SqlNode–>Operation）3.语义分析（Operation->RelNode）4.优化阶段（RelNode->optimize->Transformation）5.生成ExecutionPlan并执行二.源码分析小结`sqlnode->relnode->优化->pipel
roman_日积跬步-终至千里·2023-12-14 12:20

Flink之DataStream API的转换算子

简单转换算子函数的实现方式自定义类,实现函数接口:编码麻烦，使用灵活匿名内部类:编码简单Lambda:编码简洁publicclassFlink02_FunctionImplement{publicstaticvoidmain
十七✧ᐦ̤·2023-12-07 00:13

Flink基础之DataStream API

合并的两条流的数据类型可以不一致connec后，得到的是ConnectedStreams合并后需要根据数据流是否经过keyby分区coConnect:将两条数据流合并为同一数据类型keyedConnectpublicclassFlink09
十七✧ᐦ̤·2023-12-07 00:11

flink运行报Exception in thread “main“ java.lang.IllegalStateException

问题描述运行flink程序时报异常，异常信息如下：Exceptioninthread"main"java.lang.IllegalStateException:NoExecutorFactoryfoundtoexecutetheapplication.atorg.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutor
大数据魔法师·2023-12-06 20:20

flink安装与配置-脚本一键安装（超简单）

文章目录前言使用shell脚本一键安装1.复制脚本2.增加执行权限3.执行脚本4.加载用户环境变量5.浏览器访问总结前言本文介绍了使用shell脚本一键安装和配置ApacheFlink单机版的方法。
大数据魔法师·2023-12-06 20:48

flink报错：akka.pattern.AskTimeoutException: is that the recipient actor didn‘t send a reply

通讯超时akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka://...]]after[10000ms]Akka超时导致，一般有两种原因：一是集群负载比较大或者网络比较拥塞，二是业务逻辑同步调用耗时的外部服务。如果负载或网络问题无法彻底缓解，需考虑调大akka.ask.timeout参数的值（默认只有10秒）；另外，调用外部服务时尽量异
青云游子·2023-12-06 17:47

Hive的使用技巧

一.Hive常用交互命令[zhangflink@flinkv1hive]$bin/hive-help1.在Hive命令行里创建一个表student，并插入1条数据2.
Appreciate(欣赏)·2023-12-06 16:10

Apache Paimon流式湖仓学习交流群成立

ApachePaimon的核心优势在于它对于大数据生态系统中流式处理的支持，尤其是在高并发和低延迟方面表现出色。
大数据流动·2023-12-06 13:25

Temporal table join requires an equality condition on fields of table

报错信息org.apache.flink.table.api.TableException:Temporaltablejoinrequiresanequalityconditiononfieldsoftable
Direction_Wind·2023-12-06 12:34

聊聊flink的NetworkEnvironmentConfiguration

序本文主要研究一下flink的NetworkEnvironmentConfigurationNetworkEnvironmentConfigurationflink-1.7.2/flink-runtime
go4it·2023-12-06 10:35

gulp plugins 插件介绍

其它的javascript生态圈的构建工具可以参考:ListofJavaScriptBuildTools它采用了一种流式处理的方式，编写起来简单直观。相对于其它javascri
weixin_30703911·2023-12-06 08:19

Flink 读写Doris

FlinkDorisConnector可以支持通过Flink操作（读取、插入、修改、删除）Doris中存储的数据。
shangjg3·2023-12-06 08:49

Flink流批一体计算（23）：Flink SQL之多流kafka写入多个mysql sink

WITH子句1.准备工作生成数据sourcekafkajson数据格式：topiccase_kafka_mysql：{"ts":"20201011","id":8,"price_amt":211}topicflink_test
victory0508·2023-12-06 07:55

从0到1实现Flink 实战实时风控系统的经验总结

本文将分享从零开始构建Flink实时风控系统的经验，并提供相关示例代码。一、搭建Flink环境首先，我们需要搭建Flink环境。以下是一些基本步骤：安装Java和Scala开发环境。
沃威2268731·2023-12-06 05:14

聊聊flink Table的Set Operations

序本文主要研究一下flinkTable的SetOperations实例UnionTableleft=tableEnv.fromDataSet(ds1,"a,b,c");Tableright=tableEnv.fromDataSet
go4it·2023-12-05 22:46

flink入门基础知识整理（持续更新）

目录1.入门概念1.1核心特点1.1.1批流数据1.1.2容错能力1.1.3高吞吐低延迟1.1.4大规模复杂计算1.1.5多平台部署2.API介绍2.1API层次2.2DataStream体系2.3数据读取（Source）2.3.1内存读取2.3.2文件读取2.3.3SOCKET接入2.3.4自定义读取2.4数据转换处理（Transformation）2.5数据输出（Sink）3.时间与窗口3.1
大胡在进步·2023-12-05 21:02

Flink入门之概念介绍（一）

Flink作为近几年甚是火爆的数据实时处理框架，吸引了一大批程序员的学习，更是凭借着流批一体化，高效实时数据计算，尤其是在数据量特别大的情况下，每秒钟的数据处理量高达7TB，受到了一大批企业的青睐，纷纷将
大数据程序员·2023-12-05 21:31

Flink快速入门

大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop/storm/spark/flinkHadoop-MR
WaiSaa·2023-12-05 21:30

Flink从入门到精通系列（三）

4、Flink运行时架构4.1、系统架构Flink就是一个分布式的并行流处理系统，简单来说，它会由多个进程构成，这些进程一般会分布运行在不同的机器上。
后端技术那点事·2023-12-05 21:00

Flink入门之DataStream API及kafka消费者

DataStreamAPI主要流程：获取执行环境读取数据源转换操作输出数据Execute触发执行获取执行环境根据实际情况获取StreamExceptionEnvironment.getExecutionEnvironment(conf)创建本地环境StreamExecutionEnvironment.createLocalEnvironment()创建远程环境createRemoteEnviron
十七✧ᐦ̤·2023-12-05 21:00

【Flink从入门到精通 01】流式处理概念

“Flink中流式处理的概念是实时计算的基石，也是你踏入Flink的第一步。”今天和大家一起聊聊流式处理的通用概念。如果还不清楚这些概念的同学，今天的分享一定会给你带来收获的。
编程理想国·2023-12-05 21:30

Flink 快速入门

Flink概述ApacheFlink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。
知而行2016·2023-12-05 21:28

Flink入门之核心概念（三）

TaskManager提供的用于执行Task的资源（CPU+内存）TaskManager提供的TaskSlots的个数：主要由Taskmanager所在机器的CPU核心数来决定，不能超过CPU的最大核心数1.可以在flink
十七✧ᐦ̤·2023-12-05 21:26

08-flink运行时架构（组件）

一、flink运行时的组件flink运行时组件1.1JobManager-作业管理器JobManager控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行
比格肖·2023-12-05 19:55

《十堂课学习 Flink SQL》第四章：Flink 应用 java 开始典型案例

小伙伴们我们从本章开始将基于JAVA进行Flink应用开发，本章节主要介绍Maven开发环境搭建，日志配置，流计算案例以及批计算案例。
smile-yan·2023-12-05 15:22

【flink番外篇】1、flink的23种常用算子介绍及详细示例（完整版）

Flink系列文章1、Flink专栏等系列综合文章链接文章目录Flink系列文章一、Flink的23种算子说明及示例1、maven依赖2、javabean3、map4、flatmap5、Filter6、
一瓢一瓢的饮 alanchan·2023-12-05 14:45

【flink番外篇】1、flink的23种常用算子介绍及详细示例（3）-window、distinct、join等

Flink系列文章1、Flink专栏等系列综合文章链接文章目录Flink系列文章一、Flink的23种算子说明及示例9、first、distinct、join、outjoin、cross10、Window11
一瓢一瓢的饮 alanchan·2023-12-05 14:44

第二章 Flink 环境部署

Flink系列教程传送门第一章Flink简介第二章Flink环境部署第三章FlinkDataStreamAPI第四章Flink窗口和水位线第五章FlinkTableAPI&SQL第六章新闻热搜实时分析系统一
CDHong.it·2023-12-05 14:11

使用栈解决括号匹配问题（详解）

项目结构项目头文件的代码或截图头文件代码#ifndefLINKSTACK_H#defineLINKSTACK_H#include#include//链式栈的节点typedefstructLINKNODE
qq_45973003·2023-12-05 07:48

【bug排查解决】现象级延迟8-10s

首先一个数据采集场景，plc采集数据全链路：kepServer（kepserverIOTgateway）->emqx（查看日志）->iot服务->业务处理发送Kafka->flink消费->websocket
不进大厂不改名二号·2023-12-05 06:08

【flink番外篇】1、flink的23种常用算子介绍及详细示例（2）- keyby、reduce和Aggregations

Flink系列文章1、Flink专栏等系列综合文章链接文章目录Flink系列文章一、Flink的23种算子说明及示例6、KeyBy7、Reduce8、Aggregations本文主要介绍Flink的3种常用的
一瓢一瓢的饮 alanchan·2023-12-05 06:25

48、Flink DataStream API 编程指南（2）- DataStream的source、transformation、sink、调试

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-12-05 06:55

49、Flink的Java Lambda 表达式写法示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-12-05 06:24

【flink番外篇】1、flink的23种常用算子介绍及详细示例（1）- map、flatmap和filter

Flink系列文章1、Flink专栏等系列综合文章链接文章目录Flink系列文章一、Flink的23种算子说明及示例1、maven依赖2、javabean3、map4、flatmap5、Filter本文主要介绍
一瓢一瓢的饮 alanchan·2023-12-05 06:52

Apache Flink - 数据流容错机制

ApacheFlink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，程序的状态最终也会反映来自数据流的每条记录(只有一次)。
weixin_30270889·2023-12-05 05:51

Flink运行时架构&核心概念

Flink运行时架构JobManager：协调，决定何时调度下一个task，对失败任务做恢复。ResourceManager:负责Flink集群中的资源提供、回收、分配，它负责管理taskslot。
十七✧ᐦ̤·2023-12-05 05:50

Flink-状态编程和容错机制 | 算子状态和键控状态的介绍及数据结构 | 状态的定义及使用

GitHub代码https://github.com/SmallScorpion/flink-tutorial.git状态编程和容错机制流式计算分为无状态和有状态两种情况。
SmallScorpion·2023-12-05 05:49

flink--9 fink 容错机制

flink的容错机制主要是通过checkpoint和state来实现的checkpiont机制和容错性Flink使用流重放和检查点的组合来实现容错。
代码届彭于晏·2023-12-05 05:19

Flink-Flink及主流流框架比较

我们最近也对一款业内非常火的大数据产品-ApacheFlink做了调研，今天与大家分享一下。ApacheFlink(以下简称flink)是一个旨在提供‘一站式’的分布式开源数据处理框架。
lisery_nj·2023-12-05 05:19

flink进阶篇-09-状态编程和容错机制

流式计算分为无状态和有状态两种情况。1）无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。2）有状态的计算则会基于多个事件输出结果。以下是一些例子。⚫所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。⚫所有用于复杂事件处理的状态机。例如，若在一分钟内收到两个相差20度以上的温度读数，则发出警告，这是有状
先锋成员5A·2023-12-05 05:19

大数据--Flink--流处理(一)

一、Flink简介  ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。
bzxb1188·2023-12-05 05:48

Flink -- 容错机制理解

Flink的容错机制一致性检查点从检查点恢复状态Flink检查点算法保存点（savepoints）一致性检查点Flink故障恢复机制的核心，就是应用状态的一致性检查点有状态流应用的一致检查点，其实就是所有任务的状态
Facouse·2023-12-05 05:18
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他