大数据计算-Flink

【Table/SQL Api】Flink Table/SQL Api表转流读取MySQL

引入依赖jdbc依赖flink-connector-jdbc+mysql-jdbc-driver操作mysql数据库org.apache.flinkflink-connector-jdbc_${scala.binary.version
不进大厂不改名二号·2023-12-14 16:44

Flink的容错机制

容错机制容错：指出错后不影响数据的继续处理，并且恢复到出错前的状态。检查点：用存档读档的方式，将之前的某个时间点的所有状态保存下来，故障恢复继续处理的结果应该和发送故障前完全一致，这就是所谓的检查点。检查点的控制节点：jobManager里面的检查点协调器，向source节点的数据插入barrier标记。检查点的保存：-周期性触发保存-保存的时间点：所有算子恰好处理完一个相同的输入数据时(使用Ba
十七✧ᐦ̤·2023-12-14 16:44

【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里

文章目录一.sql执行流程源码分析1.Sql语句解析成语法树阶段（SQL->SqlNode）2.SqlNode验证（SqlNode–>Operation）3.语义分析（Operation->RelNode）4.优化阶段（RelNode->optimize->Transformation）5.生成ExecutionPlan并执行二.源码分析小结`sqlnode->relnode->优化->pipel
roman_日积跬步-终至千里·2023-12-14 12:20

Flink之DataStream API的转换算子

简单转换算子函数的实现方式自定义类,实现函数接口:编码麻烦，使用灵活匿名内部类:编码简单Lambda:编码简洁publicclassFlink02_FunctionImplement{publicstaticvoidmain
十七✧ᐦ̤·2023-12-07 00:13

Flink基础之DataStream API

合并的两条流的数据类型可以不一致connec后，得到的是ConnectedStreams合并后需要根据数据流是否经过keyby分区coConnect:将两条数据流合并为同一数据类型keyedConnectpublicclassFlink09
十七✧ᐦ̤·2023-12-07 00:11

flink运行报Exception in thread “main“ java.lang.IllegalStateException

问题描述运行flink程序时报异常，异常信息如下：Exceptioninthread"main"java.lang.IllegalStateException:NoExecutorFactoryfoundtoexecutetheapplication.atorg.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutor
大数据魔法师·2023-12-06 20:20

flink安装与配置-脚本一键安装（超简单）

文章目录前言使用shell脚本一键安装1.复制脚本2.增加执行权限3.执行脚本4.加载用户环境变量5.浏览器访问总结前言本文介绍了使用shell脚本一键安装和配置ApacheFlink单机版的方法。
大数据魔法师·2023-12-06 20:48

flink报错：akka.pattern.AskTimeoutException: is that the recipient actor didn‘t send a reply

通讯超时akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka://...]]after[10000ms]Akka超时导致，一般有两种原因：一是集群负载比较大或者网络比较拥塞，二是业务逻辑同步调用耗时的外部服务。如果负载或网络问题无法彻底缓解，需考虑调大akka.ask.timeout参数的值（默认只有10秒）；另外，调用外部服务时尽量异
青云游子·2023-12-06 17:47

Hive的使用技巧

一.Hive常用交互命令[zhangflink@flinkv1hive]$bin/hive-help1.在Hive命令行里创建一个表student，并插入1条数据2.
Appreciate(欣赏)·2023-12-06 16:10

Temporal table join requires an equality condition on fields of table

报错信息org.apache.flink.table.api.TableException:Temporaltablejoinrequiresanequalityconditiononfieldsoftable
Direction_Wind·2023-12-06 12:34

聊聊flink的NetworkEnvironmentConfiguration

序本文主要研究一下flink的NetworkEnvironmentConfigurationNetworkEnvironmentConfigurationflink-1.7.2/flink-runtime
go4it·2023-12-06 10:35

Flink 读写Doris

FlinkDorisConnector可以支持通过Flink操作（读取、插入、修改、删除）Doris中存储的数据。
shangjg3·2023-12-06 08:49

Flink流批一体计算（23）：Flink SQL之多流kafka写入多个mysql sink

WITH子句1.准备工作生成数据sourcekafkajson数据格式：topiccase_kafka_mysql：{"ts":"20201011","id":8,"price_amt":211}topicflink_test
victory0508·2023-12-06 07:55

从0到1实现Flink 实战实时风控系统的经验总结

本文将分享从零开始构建Flink实时风控系统的经验，并提供相关示例代码。一、搭建Flink环境首先，我们需要搭建Flink环境。以下是一些基本步骤：安装Java和Scala开发环境。
沃威2268731·2023-12-06 05:14

聊聊flink Table的Set Operations

序本文主要研究一下flinkTable的SetOperations实例UnionTableleft=tableEnv.fromDataSet(ds1,"a,b,c");Tableright=tableEnv.fromDataSet
go4it·2023-12-05 22:46

flink入门基础知识整理（持续更新）

目录1.入门概念1.1核心特点1.1.1批流数据1.1.2容错能力1.1.3高吞吐低延迟1.1.4大规模复杂计算1.1.5多平台部署2.API介绍2.1API层次2.2DataStream体系2.3数据读取（Source）2.3.1内存读取2.3.2文件读取2.3.3SOCKET接入2.3.4自定义读取2.4数据转换处理（Transformation）2.5数据输出（Sink）3.时间与窗口3.1
大胡在进步·2023-12-05 21:02

Flink入门之概念介绍（一）

Flink作为近几年甚是火爆的数据实时处理框架，吸引了一大批程序员的学习，更是凭借着流批一体化，高效实时数据计算，尤其是在数据量特别大的情况下，每秒钟的数据处理量高达7TB，受到了一大批企业的青睐，纷纷将
大数据程序员·2023-12-05 21:31

Flink快速入门

大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop/storm/spark/flinkHadoop-MR
WaiSaa·2023-12-05 21:30

Flink从入门到精通系列（三）

4、Flink运行时架构4.1、系统架构Flink就是一个分布式的并行流处理系统，简单来说，它会由多个进程构成，这些进程一般会分布运行在不同的机器上。
后端技术那点事·2023-12-05 21:00

Flink入门之DataStream API及kafka消费者

DataStreamAPI主要流程：获取执行环境读取数据源转换操作输出数据Execute触发执行获取执行环境根据实际情况获取StreamExceptionEnvironment.getExecutionEnvironment(conf)创建本地环境StreamExecutionEnvironment.createLocalEnvironment()创建远程环境createRemoteEnviron
十七✧ᐦ̤·2023-12-05 21:00

【Flink从入门到精通 01】流式处理概念

“Flink中流式处理的概念是实时计算的基石，也是你踏入Flink的第一步。”今天和大家一起聊聊流式处理的通用概念。如果还不清楚这些概念的同学，今天的分享一定会给你带来收获的。
编程理想国·2023-12-05 21:30

Flink 快速入门

Flink概述ApacheFlink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。
知而行2016·2023-12-05 21:28

Flink入门之核心概念（三）

TaskManager提供的用于执行Task的资源（CPU+内存）TaskManager提供的TaskSlots的个数：主要由Taskmanager所在机器的CPU核心数来决定，不能超过CPU的最大核心数1.可以在flink
十七✧ᐦ̤·2023-12-05 21:26

08-flink运行时架构（组件）

一、flink运行时的组件flink运行时组件1.1JobManager-作业管理器JobManager控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行
比格肖·2023-12-05 19:55

《十堂课学习 Flink SQL》第四章：Flink 应用 java 开始典型案例

小伙伴们我们从本章开始将基于JAVA进行Flink应用开发，本章节主要介绍Maven开发环境搭建，日志配置，流计算案例以及批计算案例。
smile-yan·2023-12-05 15:22

【flink番外篇】1、flink的23种常用算子介绍及详细示例（完整版）

Flink系列文章1、Flink专栏等系列综合文章链接文章目录Flink系列文章一、Flink的23种算子说明及示例1、maven依赖2、javabean3、map4、flatmap5、Filter6、
一瓢一瓢的饮 alanchan·2023-12-05 14:45

【flink番外篇】1、flink的23种常用算子介绍及详细示例（3）-window、distinct、join等

Flink系列文章1、Flink专栏等系列综合文章链接文章目录Flink系列文章一、Flink的23种算子说明及示例9、first、distinct、join、outjoin、cross10、Window11
一瓢一瓢的饮 alanchan·2023-12-05 14:44

第二章 Flink 环境部署

Flink系列教程传送门第一章Flink简介第二章Flink环境部署第三章FlinkDataStreamAPI第四章Flink窗口和水位线第五章FlinkTableAPI&SQL第六章新闻热搜实时分析系统一
CDHong.it·2023-12-05 14:11

使用栈解决括号匹配问题（详解）

项目结构项目头文件的代码或截图头文件代码#ifndefLINKSTACK_H#defineLINKSTACK_H#include#include//链式栈的节点typedefstructLINKNODE
qq_45973003·2023-12-05 07:48

【bug排查解决】现象级延迟8-10s

首先一个数据采集场景，plc采集数据全链路：kepServer（kepserverIOTgateway）->emqx（查看日志）->iot服务->业务处理发送Kafka->flink消费->websocket
不进大厂不改名二号·2023-12-05 06:08

【flink番外篇】1、flink的23种常用算子介绍及详细示例（2）- keyby、reduce和Aggregations

Flink系列文章1、Flink专栏等系列综合文章链接文章目录Flink系列文章一、Flink的23种算子说明及示例6、KeyBy7、Reduce8、Aggregations本文主要介绍Flink的3种常用的
一瓢一瓢的饮 alanchan·2023-12-05 06:25

48、Flink DataStream API 编程指南（2）- DataStream的source、transformation、sink、调试

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-12-05 06:55

49、Flink的Java Lambda 表达式写法示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-12-05 06:24

【flink番外篇】1、flink的23种常用算子介绍及详细示例（1）- map、flatmap和filter

Flink系列文章1、Flink专栏等系列综合文章链接文章目录Flink系列文章一、Flink的23种算子说明及示例1、maven依赖2、javabean3、map4、flatmap5、Filter本文主要介绍
一瓢一瓢的饮 alanchan·2023-12-05 06:52

Apache Flink - 数据流容错机制

ApacheFlink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，程序的状态最终也会反映来自数据流的每条记录(只有一次)。
weixin_30270889·2023-12-05 05:51

Flink运行时架构&核心概念

Flink运行时架构JobManager：协调，决定何时调度下一个task，对失败任务做恢复。ResourceManager:负责Flink集群中的资源提供、回收、分配，它负责管理taskslot。
十七✧ᐦ̤·2023-12-05 05:50

Flink-状态编程和容错机制 | 算子状态和键控状态的介绍及数据结构 | 状态的定义及使用

GitHub代码https://github.com/SmallScorpion/flink-tutorial.git状态编程和容错机制流式计算分为无状态和有状态两种情况。
SmallScorpion·2023-12-05 05:49

flink--9 fink 容错机制

flink的容错机制主要是通过checkpoint和state来实现的checkpiont机制和容错性Flink使用流重放和检查点的组合来实现容错。
代码届彭于晏·2023-12-05 05:19

Flink-Flink及主流流框架比较

我们最近也对一款业内非常火的大数据产品-ApacheFlink做了调研，今天与大家分享一下。ApacheFlink(以下简称flink)是一个旨在提供‘一站式’的分布式开源数据处理框架。
lisery_nj·2023-12-05 05:19

flink进阶篇-09-状态编程和容错机制

流式计算分为无状态和有状态两种情况。1）无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。2）有状态的计算则会基于多个事件输出结果。以下是一些例子。⚫所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。⚫所有用于复杂事件处理的状态机。例如，若在一分钟内收到两个相差20度以上的温度读数，则发出警告，这是有状
先锋成员5A·2023-12-05 05:19

大数据--Flink--流处理(一)

一、Flink简介  ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。
bzxb1188·2023-12-05 05:48

Flink -- 容错机制理解

Flink的容错机制一致性检查点从检查点恢复状态Flink检查点算法保存点（savepoints）一致性检查点Flink故障恢复机制的核心，就是应用状态的一致性检查点有状态流应用的一致检查点，其实就是所有任务的状态
Facouse·2023-12-05 05:18

Flink-状态流与容错

状态流与容错一、状态概念二、状态实现1.状态触发2.状态存储实现2.1HashMapStateBackend2.2EmbeddedRocksDBStateBackend2.3状态存储对比3.设置状态存储实现3.1单个作业设置3.2全局设置三、容错机制1.状态快照2.状态快照生成3.CheckpointBarrier4.AlignedCheckpointing5.UnalignedCheckpoin
临江蓑笠翁·2023-12-05 05:48

【Flink】Flink核心概念简述

目录一、Flink简介二、Flink组件栈1.API&Libraries层2.runtime层3.物理部署层三、Flink集群架构四、Flink基本编程模型五、Flink的优点一、Flink简介ApacheFlink
和瑚·2023-12-05 04:47

Flink入门之部署（二）

三种部署模式standalone集群，会话模式部署：先启动flink集群webUI提交shell命令提交：bin/flinkrun-d-mhadoop102:8081-ccom.atguigu.flink.deployment.Flinke1
十七✧ᐦ̤·2023-12-05 04:47

轻松入门大数据之玩转Flink，打造湖仓一体架构

轻松入门大数据本文将介绍如何入门大数据，使用ApacheFlink技术建立湖仓一体架构，实现数据的实时处理和持久化存储。一、什么是大数据？所谓大数据，是指数据量巨大、复杂度高、处理速度快等特点的数据。
m0_61827513·2023-12-05 02:11

Flink项目系列4-市场营销商业指标统计分析

一.项目概述  随着智能手机的普及，在如今的电商网站中已经有越来越多的用户来自移动端，相比起传统浏览器的登录方式，手机APP成为了更多用户访问电商网站的首选。对于电商企业来说，一般会通过各种不同的渠道对自己的APP进行市场推广，而这些渠道的统计数据（比如，不同网站上广告链接的点击量、APP下载量）就成了市场营销的重要商业指标。二.代码2.1pom文件配置pom文件如下:org.apache.fli
只是甲·2023-12-04 22:24

java使用策略模式（进阶篇）

本文重点在于笔者阅读Flink源码过程中发现了一个设计比较巧妙的点，可以对策略模式进行优化，所以特意写篇文章总结输出一下。
BUG记录机·2023-12-04 21:06

Apache Flink 李钰：“做中文社区首先最需要解决的问题，是把入门的门槛降低”

Apache软件基金会成员、Apache软件基金孵化器导师、ALCBeijing发起人姜宁；ApacheFlink社区PMCmember李钰；Apach
开源社·2023-12-04 21:35

Flink CEP及例子

是Flink中实现复杂事件处理的库。CEP允许在无限的事件流中检测事件模式。一个或多个由简单事件构成的事件流，通过一定的规则匹配，输出用户想得到的数据——满足规则的复杂事件。
阿猫阿狗Hakuna·2023-12-04 21:04
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他