Flink调优

Flink 源码解析 —— 如何获取 JobGraph？

JobGraphhttps://t.zsxq.com/naaMf6y博客1、Flink从0到1学习——ApacheFlink介绍2、Flink从0到1学习——Mac上搭建Flink1.6.0环境并构建运行简单程序入门
zhisheng_blog·2023-11-04 10:15

Flink源码解析之State的实现

State的实现Flink通过异步的checkpoint机制来实现流式处理过程中的容错，简单来讲就是定时地将本地的状态序列化到一个持久存储中，当出现错误是通过恢复检查点的状态来实现容错的，对于机制的详细介绍可以参见这个链接
liurenjie1024·2023-11-04 10:14

Flink 源码解析

1、Flink源码解析——源码编译运行2、Flink源码解析——项目结构一览3、Flink源码解析——local模式启动流程4、Flink源码解析——standalonesession模式启动流程5、Flink
zhisheng_blog·2023-11-04 10:14

Flink源码解析系列--StreamExecutionEnvironment类

本文的Flink源码版本为:1.15-SNAPSHOT，读者可自行从Githubclone.Flink程序看起来像一个转换DataStream的常规程序。
打酱油的葫芦娃·2023-11-04 10:36

Flink源码解析三之执行计划⽣成

JobManagerLeader选举首先flink会依据配置获取RecoveryMode,RecoveryMode一共两两种:STANDALONE和ZOOKEEPER。
数据与后端架构提升之路·2023-11-04 10:34

3.使用spark开发第一个程序WordCount程序及多方式运行代码

WordCount是一个快速入门案例，单词统计，通过此案例，学习如何用scala来编写spark程序，spark支持java，scalal这些语言，目前在企业中大部分公司都是使用scala进行开发，后序的flink
流月up·2023-11-04 09:51

Flink实战之Flink SQL connector支持并行度配置

背景目前flinksql是不支持source/sink并行度配置的，flinksql中各算子并行度默认是根据source的partition数或文件数来决定的，比如常用的kafkasourcetopic
〇白衣卿相〇·2023-11-04 08:22

MySQL数据库入门到大牛_00_大纲及适用人群

数据库概述与MySQL安装篇2.SQL之SELECT使用篇3.SQL之DDL、DML、DCL使用篇4.其它数据库对象篇5.MySQL8新特性篇二、MySQL高级特性篇大纲1.MySQL架构篇2.索引及调优篇
十月旧城·2023-11-04 01:05

【协议森林】Linux TCP/IP网络性能调优方法

1.简述TCP全称为TransmissionControlProtocol，每一个IT人士对TCP都有一定了解。TCP协议属于底层协议，对于大部分研发人员来说，这是透明的，无需关心TCP的实现与细节。不过如果想做深入的性能优化，TCP是绕不过去的一环。2.proc参数BDP（Bandwidth-delayproduct，带宽延迟积）数据链路的容量与其端到端延迟的乘积。这个结果就是任意时刻处于在途未
协议森林·2023-11-04 01:33

Flink-StreamTask启动流程分析

StreamTask是流作业的任务基类，通常一个流作业的task启动由该方法的invoke函数为入口，本文基于Flink1.11.0该类生命流程进行分析。
WestC·2023-11-04 01:30

SeaTunnel安装及测试

一.简介架构于Spark和Flink之上的分布式的支持海量数据实时同步的高性能分布式数据集成平台官网：http://seatunnel.incubator.apache.org/Gitee：https:
小小大数据·2023-11-04 01:59

性能测试学习笔记

性能测试概念性能测试针对系统的性能指标，建立性能测试模型，制定性能测试方案，制定监控策略，在场景条件之下执行性能场景，分析判断性能瓶颈并调优，最终得出性能结果来评估系统的性能指标是否满足既定值。
代码小姐·2023-11-03 23:04

性能测试常用术语

负载对被测系统不断施加压力，直到性能指标超过预期或某项资源使用达到饱和，以验证系统的处理极限，为系统性能调优提供依据；并发①狭义上的并发：所有用户在同一时间点进行同样的操作，一般指同一类型的业务场景，比如
软件测试玲雪·2023-11-03 19:49

0基础学习PyFlink——事件时间和运行时间的窗口

大纲定制策略运行策略Reduce完整代码滑动窗口案例参考资料在《0基础学习PyFlink——时间滚动窗口(TumblingTimeWindows)》一文中，我们使用的是运行时间(TumblingProcessingTimeWindows
breaksoftware·2023-11-03 19:45

python并发编程调优_Python并发编程-线程

Python作为一种解释型语言，由于使用了全局解释锁(GIL)的原因，其代码不能同时在多核CPU上并发的运行。这也导致在Python中使用多线程编程并不能实现并发，我们得使用其他的方法在Python中实现并发编程。一、全局解释锁(GIL)Python中不能通过使用多线程实现并发编程主要是因为全局解释锁的机制，所以首先解释一下全局解释锁的概念。首先，我们知道C++和Java是编译型语言，而Pytho
无fa可说·2023-11-03 19:29

Flink之Table API和SQL

DataStream创建表（2）使用DataSet创建表（3）将表转换成DataStream（4）将表转换成DataSet（一）使用介绍注意：TableAPI和SQL现在还处于活跃开发阶段，还没有完全实现Flink
小崔的技术博客·2023-11-03 19:20

17、Flink 之Table API: Table API 支持的操作（2）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-03 19:14

kafka调优

配置参数调优broker配置num.recovery.threads.per.data.dir对于如下3种情况，Kafka会使用可配置的线程池来处理日志片段：服务器正常启动，用于打开每个分区的日志片段；
刘栉风·2023-11-03 18:32

Flink 异步I/O

1.为什么需要异步IOflink在做实时处理时，有时候需要和外部数据交互，但是通常情况下这个交互过程是同步的，这样就会产生大量的等待时间；而异步操作可以在单个函数实例中同时处理多个请求，并且同时接收相应
k_wzzc·2023-11-03 18:12

Flink Table API 和 Flink-SQL使用详解

FlinkTableAPI和Flink-SQL使用详解1.TableAPI&FlinkSQL-核心概念ApacheFlink有两种关系型API来做流批统一处理：TableAPITableAPI是用于Scala
王亭_666·2023-11-03 18:17

【Flink系列】TableAPI和SQL详解

一、TableAPI和SQL概述Flink本身是批流统一的处理框架，所以TableAPI和SQL，就是批流统一的上层处理API。目前功能尚未完善，处于活跃的开发阶段。
请叫我阿炜·2023-11-03 17:41

Flink SQL 窗口聚合详解

例如，指定⼀个⼤⼩为5分钟的滚动窗⼝，Flink将每隔5分钟开启⼀个新的窗⼝，其中每⼀条数都会划分到唯⼀⼀个5分钟的窗⼝中。**应⽤场景：**按照⼀分钟对数据进⾏聚合，计算⼀分钟内PV，UV数据。
猫猫爱吃小鱼粮·2023-11-03 17:37

Flink 统计接入的数据量-滚动窗口和状态的使用

2、使用侧流输出+处理时间的滚动窗口+状态进行数据量级统计packagecom.flink.feature.windowcount;im
猫猫爱吃小鱼粮·2023-11-03 17:37

Flink Table API 使用详解

TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。
aa1215018028·2023-11-03 17:35

FlinkSQL窗口，让你眼前一亮，是否可以大吃一惊呢

前言FlinkSQL的窗口操作在straming的实现上增添了不少东西。是用起来越来越方便。
大数据左右手·2023-11-03 17:31

Flink SQL Over 聚合详解

Over聚合定义（⽀持Batch\Streaming）：**特殊的滑动窗⼝聚合函数，拿Over聚合与窗⼝聚合做对⽐。窗⼝聚合：不在groupby中的字段，不能直接在select中拿到Over聚合：能够保留原始字段注意：⽣产环境中，Over聚合的使⽤场景较少。**应⽤场景：**计算最近⼀段滑动窗⼝的聚合结果数据。**实际案例：**查询每个产品最近⼀⼩时订单的⾦额总和：SELECTorder_id,o
猫猫爱吃小鱼粮·2023-11-03 17:28

【Flink专题】基于Flink1.12的知识点总结

更新几期Flink系的文章，有时间就写写，没时间就放放。之前做flink开发时候的一些认知还有心得，没有研究多深，大家多提意见，有问题的地方麻烦更正，本系列基于flink1.12。
左美美 ￣　　·2023-11-03 17:49

Flink-入门介绍

Flink概述ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。
Beis·2023-11-03 17:17

【大数据】-- flink kubernetes operator 入门与实践

课程链接：https://edu.csdn.net/course/detail/38831目录课程链接：https://edu.csdn.net/course/detail/38831https://edu.csdn.net/course/detail/38831一、你将收获
high2011·2023-11-03 17:38

Flink笔记

Flink简介和特点简介：Flink项目的理念是：“ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。
准将·2023-11-03 17:26

Flink+Kafka 版wordCount

Kafka版wordCountpackagecom.jxtele;importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.tuple.Tuple2
准将·2023-11-03 17:56

XGBoost调参指南

本文内容结构主要参考CompleteGuidetoParameterTuninginXGBoostwithcodesinPython及其中文翻译XGBoost参数调优完全指南。
井底蛙蛙呱呱呱·2023-11-03 16:34

FlinkCDC系列：通过skipped.operations参数选择性处理新增、更新、删除数据

在flinkCDC源数据配置，通过debezium.skipped.operations参数控制，配置需要过滤的oplog操作。操作包括c表示插入，u表示更新，d表示删除。
ITZHIHONH·2023-11-03 15:16

人工智能大模型技术基础系列之：自动模型搜索与架构优化

因为任何模型都需要大量的参数配置，耗费大量的时间进行训练和调优。因此，如何有效的快速搜集到足够多的深度学习模型，然后对它们进行评估、比较和
禅与计算机程序设计艺术·2023-11-03 15:41

Unity手机游戏性能优化系列：针对CPU端的性能调优

做手机游戏开发的时,经常会遇到手机游戏的性能问题，手机游戏的性能问题可能有很多的方面，今天我们从CPU调优的角度来給大家介绍一下常用的CPU调优的一些经验和手段。
Clank的游戏栈·2023-11-03 14:02

flink sql connector

fileSystemhttps://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/connectors/table/filesystem
jiayeliDoCn·2023-11-03 13:40

flinksql获取系统当前时间搓_Flink SQL Window源码全解析

文章目录一、概述二、Window分类1、TimeWindow与CountWindow2、TimeWindow子类型TumbleWindow(翻转窗口)HopWindow(滑动窗口)SessionWindow(会话窗口)三、Window分类及整体流程四、创建WindowOperator算子五、WindowOperator处理数据图解六、WindowOperator源码调试1、StreamExecGr
weixin_39552179·2023-11-03 13:09

flink-sql所有数据类型-1.14

1.版本说明本文档内容基于flink-1.14.x，其他版本的整理，请查看本人博客的flink专栏其他文章。2.介绍FlinkSQL有一组丰富的本地数据类型可供用户使用。
第一片心意·2023-11-03 13:38

Flink sql 中指定处理时间以及事件时间

一、Flink13版本前1、处理时间（ProcessingTime）基于时间的操作（比如TableAPI和SQL中窗口操作），需要定义相关的时间语义和时间数据来源的信息。
undo_try·2023-11-03 13:08

Flink Table API和Flink SQL

简介FlinkTableAPI是一套内嵌在java和scala中的查询api，他允许以非常直观的方式组合一些关系运算符的查询。FlinkSQL是基于实现了SQL标准的ApacheCalcite。
寒 暄·2023-11-03 13:38

Flink、Flink SQL学习笔记

文章目录碎碎念1.Flink的特点1.1FlinkvsSparkStreaming2.Java快速使用3.Flink部署模式3.1Standalone模式3.2yarn模式1.SesstionCluster
东河西·2023-11-03 13:07

flink sql 毫秒转date ms转date

TO_DATE(DATE_FORMAT(FROM_UNIXTIME(1629244800000/1000),'yyyy-MM-dd'))--2021-08-18FlinkSQL>selectTO_DATE
Thomas2143·2023-11-03 13:05

【入门Flink】- 03Flink部署

Flink运行时由两种类型
不进大厂不改名二号·2023-11-03 13:34

【入门Flink】- 02Flink经典案例-WordCount

WordCount需求：统计一段文字中，每个单词出现的频次添加依赖1.17.0org.apache.flinkflink-streaming-java${flink.version}org.apache.flinkflink-clients
不进大厂不改名二号·2023-11-03 13:04

Flink源码解析四之任务调度和负载均衡

源码概览jobmanagerscheduler：这部分与Flink的任务调度有关。
数据与后端架构提升之路·2023-11-03 13:00

flink的(Tumbling)滚动窗口

滚动窗口意义如果我们是wordcount的程序,随着数据的涌入累计相加,计算系统的压力会越来越来越大,但是我们让我滚动窗口,每半个小时执行一次,只执行这半个小时之内的数据,而后直接采取上半个小时累计的结果进行累计,这样计算压力会很小!节约资源提高效率例子我们设置公交车10秒钟跑一趟,陆陆续续来的客户端输入的数据,公交车来了,没人空跑一圈不执行,相当于不显示,公交车来了,站点有5个人就是拉5个人走,
北京小峻·2023-11-03 13:53

0基础学习PyFlink——个数滑动窗口（Sliding Count Windows）

大纲滑动（Sliding）和滚动（Tumbling）的区别样例窗口为2，滑动距离为1窗口为3，滑动距离为1窗口为3，滑动距离为2窗口为3，滑动距离为3完整代码参考资料在《0基础学习PyFlink——个数滚动窗口
breaksoftware·2023-11-03 13:52

Flink的窗口聚合操作(Time\Count Window)

窗口基本概念：Flink中的窗口是左闭右开的窗口Flink认为批处理是流处理的一个特例，而窗口window就是从流处理到批处理的一个桥梁，通常来讲窗口就是用来将无线数据流转换为优先数据集，从而在优先数据集上进行操作的一种机制
月疯·2023-11-03 13:52

Flink(六)：Tumbling Windows 例子

例如，如果指定一个大小为5分钟的滚动窗口，则将评估当前窗口，并每隔五分钟启动一个新窗口，我们实现对应的例子Flink（四）:窗口简介_在前进的路上-CSDN博客二、代码importcom.alibaba.fastjson.JSON
码农_程序员·2023-11-03 13:52

0基础学习PyFlink——个数滚动窗口(Tumbling Count Windows)

而Flink是可以处理流式（Streaming）数据的，就是数据会源源不断输入。对于这种数据，我们称之为无界流，即没有“终止的界限”。但是程序在底层一
breaksoftware·2023-11-03 13:17
上一页 76 77 78 79 80 81 82 83 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他