Flink调优

TaskExecutor统一内存配置(FLink FLIP-49翻译)

文章目录目的：(1)解决流、批配置差异大(2)解决Streaming方式RocksDB配置复杂(3)去掉复杂、不确定、难以理解的配置公共接口修改建议统一流处理和批处理内存管理内存使用场景及特点统一显式和隐式内存申请将托管的堆上内存池和堆外内存池分离MemoryPools和配置方式框架堆内存（FrameworkHeapMemory）用户堆内存（TaskHeapMemory）用户堆外内存（TaskOf
LS_ice·2024-01-22 08:38

flink内存管理（三）：MemorySegment内存使用场景：托管内存与网络内存

MemoryManager实例3.算子使用通过MemoryManager使用内存4.ManagedMemory内存空间申请流程二.NetworkBuffer内存申请与使用1.NetworkBuffer构造器在Flink
roman_日积跬步-终至千里·2024-01-22 08:35

flink基本概念

1.Flink关键组件:这里首先要说明一下“客户端”。其实客户端并不是处理系统的一部分，它只负责作业的提交。
上官沐雪·2024-01-22 08:05

Flink 源码之 Window Slice

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言Windowslice是Flink对SQLwindow聚合的一种优化方式。
AlienPaul·2024-01-22 04:29

flinkcdc 3.0 尝鲜

本文会将从环境搭建到demo来全流程体验flinkcdc3.0包含了如下内容flink1.18standalone搭建doris1fe1be搭建整库数据同步测试各同步场景从检查点重启同步任务环境搭建flink
Antg·2024-01-22 03:51

Flink SQL Window源码全解析

文章目录一、概述二、Window分类1、TimeWindow与CountWindow2、TimeWindow子类型TumbleWindow（翻转窗口）HopWindow（滑动窗口）SessionWindow（会话窗口）三、Window分类及整体流程四、创建WindowOperator算子五、WindowOperator处理数据图解六、WindowOperator源码调试1、StreamExecGr
王知无·2024-01-22 03:07

innodb status解读

showengineinnodbstatus输出中，显示除了大量的内部信息，它输出就是一个单独的字符串，没有行和列，内容分为很多小段，每一段对应innodb存储引擎不同部分的信息，其中有一些信息对于innodb调优的时候
mysia·2024-01-22 03:47

mysql调优show profile工具

1.showProfile是什么showProfile:是mysql提供用来分析当前回话中语句执行消耗资源的情况，可以用来SQL调优。
喜羊羊love红太狼·2024-01-22 01:06

支持微服务架构的流数据处理

之前说过消息传输系统一方面将生产者和消费者解耦，另一方面又有足够高的吞吐量，并且能够满足像Flink这样的高性能流
afansdie·2024-01-21 19:49

基于PiflowX构建MySQL和Postgres的Streaming ETL

说明：案例来自flinkcdc官方。
PiflowX·2024-01-21 18:07

PiflowX组件-PostgresCdc

计算引擎flink组件分组cdc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostnameHostname“”无是PostgreSQL数据库服务器的
PiflowX·2024-01-21 18:37

PiflowX组件-OracleCdc

计算引擎flink组件分组cdc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostnameHostname“”无是Oracle数据库服务器的IP地址或主机名
PiflowX·2024-01-21 18:36

个性化风控！消费贷客群分群模型应用实践

这三个方面在任何场景的模型中都是至关重要的，无论是针对ABC卡、策略调优、拒绝回捞、动支模型、营销响应模型还是流失模型等等，只要涉及到建模，都需要依赖于这三个模块。
风控小兵突击·2024-01-21 18:02

flink 容错机制

ApacheFlink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，程序的状态最终也会反映来自数据流的每条记录(只有一次)。
少年阿宏·2024-01-21 17:13

Flink容错机制（一）

目录十：容错机制10.1检查点（Checkpoint）10.1.1检查点的保存10.1.2从检查点恢复状态10.1.3检查点算法10.1.4检查点配置10.1.5保存点（Savepoint）十：容错机制流式数据连续不断地到来，无休无止；所以流处理程序也是持续运行的，并没有一个明确的结束退出时间。机器运行程序，996起来当然比人要容易得多，不过希望“永远运行”也是不切实际的。因为各种硬件软件的原因，
大数据阿嘉·2024-01-21 17:12

Flink容错机制（二）

10.2状态一致性10.2.1一致性的概念和级别10.2.2端到端的状态一致性10.3端到端精确一次（end-to-endexactly-once）10.3.1输入端保证10.3.2输出端保证10.3.3Flink
大数据阿嘉·2024-01-21 17:12

穿越Flink的时间隧道：解锁实时数据之窗，掌握流处理之巅

目录Flink中的时间和窗口1时间语义1.1Flink中的时间语义1.1.1处理时间1.1.2事件时间1.2那种时间语义更重要2水位线2.1事件时间和窗口2.2什么是水位线2.3如何生成水位线2.3.1
佛系爱学习·2024-01-21 17:42

Flink项目（看了就会）

Flink基本项目WordCount一，Flink批处理WordCount使用maven先配置好pom文件然后在项目目录上创建input包然后在input包中创建word文件word.txt并在文件中添加一下内容
佛系爱学习·2024-01-21 17:42

Flink窗口

Flink窗口Flink用来处理流式数据源源不断，这时为了更加方便的处理流式数据一种方法就是将流式数据切割成有限的数据块进行处理，这个数据块被称为窗口。
佛系爱学习·2024-01-21 17:12

Flink容错机制

Flink容错机制一，检查点：在出现故障时，我们将系统重置回正确状态，以确保数据的完整性和准确性。在流处理中，我们采用存档和读档的策略，将之前的计算结果进行保存。
佛系爱学习·2024-01-21 17:40

玩转Mysql 八 （MySQ优化入门篇）

前言：一个高性能，稳定的数据库集群并不是指的某一特性优化，就能保证系统的的稳定，需要从网络、硬件资源、操作系统、操作系统参数设置、数据库选型，执行SQL效率几个方面进行整体调优。
董乐，快乐的乐！·2024-01-21 16:49

XGBoost在时间序列分析中的高级应用

在时间序列问题中的应用场景2.1金融数据预测2.2销售预测2.3能源消耗预测2.4网络流量分析2.5医疗时间序列分析3.实际应用场景3.1一个简单的例子3.2广告领域的demo4.时间序列预测中的XGBoost参数调优
theskylife·2024-01-21 15:51

XGBoost系列3——XGBoost在多分类问题中的应用

1.4多分类问题的应用场景2.XGBoost中的多分类支持2.1分类原理2.2Softmax损失函数2.3One-vs-All与One-vs-One2.4多分类性能优势2.5超参数调优2.6特征重要性分析
theskylife·2024-01-21 15:50

常用监控指标及调优步骤

诊断性能问题，需要清楚监控的关键指标，以此辅助试验诊断，最后验证推测。常用监控的关键指标通常情况下，性能测试监控指标主要分为：资源指标和系统指标。资源指标：CPU使用率：指单位时间内进程使用cpu时间的百分比，这是对一个时间段内CPU使用状况的统计，通过这个指标可以看出在某一个时间段内CPU被占用的情况，如果被占用时间很高，那么就需要考虑CPU是否已经处于超负荷运作，长期超负荷运作对于机器本身来说
HuiTest·2024-01-21 14:30

Flink 指标监控整理

本篇文章对Flink的指标监控进行讲解，期望能够帮助到大家更好的对Flink进行监控。1.整体流程整体的流程包括3个部分，指标推送->采集指标->展示指标。
屋顶看飞机·2024-01-21 14:59

java进阶-jvm精讲及实战

深入了解jvm及实战1.引言2.jvm概念理解1.引言jvm是深入了解java底层逻辑的必备知识储备,在中大型开发团队里,中高级工程师必须要了解和掌握,也是中高级工程师面试必考题,在实战中用于程序性能调优
蒋增奎·2024-01-21 12:16

100 springboot项目优化和jvm调优

https://blog.csdn.net/huangjinjin520/article/details/103231775项目调优作为一名工程师，项目调优这事，是必须得熟练掌握的事情。
滔滔逐浪·2024-01-21 12:54

【转载】《软件性能测试、分析与调优实践之路》学习

这是一本理论和实践相结合的同时面向研发和测试岗的关于性能分析诊断调优实践的图书，比起其他的很多性能测试的图书，本书中内容更侧重于介绍如何去发现性能问题、分析诊断性能问题以及对发现的性能问题进行调优。
来自火星的我哈哈·2024-01-21 09:51

02-黑马程序员大数据开发：分布式计算和分布式资源调度

分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop
S1406793·2024-01-21 08:52

Flink三种运行模式分析

Flink运行模式有三种：session、per-job、Application。其中三者核心区别点：1.集群的生命周期和资源管理隔离程度2.main()方法的执行是在客户端还是集群。
飞_侠·2024-01-21 07:44

Flink处理函数（3）—— 窗口处理函数

窗口处理函数包括：ProcessWindowFunction和ProcessAllWindowFunction基础用法stream.keyBy(t->t.f0).window(TumblingEventTimeWindows.of(Time.seconds(10))).process(newMyProcessWindowFunction())这里的MyProcessWindowFunction就是
THE WHY·2024-01-21 06:45

Flink处理函数（2）—— 按键分区处理函数

定时器（Timer）和定时服务（TimerService）定时器（timers）是处理函数中进行时间相关操作的主要机制定时服务（TimerService）提供了注册定时器的功能TimerService是Flink
THE WHY·2024-01-21 06:37

架构师之路：一个Java架构师需要掌握的知识技能，带思维导图

架构师=前端工程师+后端程序员+系统分析师+关键技术解决+各种技术搭配+设计模式+部署调优+其他，可见架构师是多面手，在项目当中起到连接管理与项目成员的重要角色。
Java黎先生·2024-01-21 06:50

Spark和Flink的区别?

Flink和Spark都是基于内存计算、支持实时/批处理等多种计算模式的统一框架1,技术理念不同Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次
写scala的老刘·2024-01-21 06:42

flink operator 拉取阿里云私有镜像（其他私有类似）

创建k8ssecretkubectl--namespaceflinkcreatesecretdocker-registryaliyun-docker-registry--docker-server=registry.cn-shenzhen.aliyuncs.com
卤蛋x001·2024-01-21 06:08

soar-php 2.0 - SQL 语句优化器和重写器的 PHP 扩展包、 方便 SQL 语句调优

soar-php是一个基于小米公司开源的soar开发的PHP扩展包，方便框架中SQL语句调优。
guanguans·2024-01-21 03:51

mysql explain ref const_MySQL EXPLAIN 详解

这条命令并没有提供任何调整建议，但它能够提供重要的信息帮助你做出调优决策。
网件NETGEAR·2024-01-21 02:34

通过WordCount解析Spark RDD内部源码机制

HelloSparkHelloScalaHelloHadoopHelloFlinkSparkisAwesome然后在Eclipse中编写wo
联旺·2024-01-21 01:54

一文了解java多线程(超详细+干货满满)

2.提高响应速度,当任务到达时,任务可以不需要等到线程创建就能立即执行3.提高线程的可管理性,线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控线程池的真正实现类是
GeekInk小火龙·2024-01-20 21:26

flink.9 水位线

flink为每个分区维持一个水位线,流入该分区的数据流中会附带新的水位线,新的水位线和分区中已经存在的水位线比较,保存最大的那个,因为水位线是递增的.如上图，一个任务会为它的每个分区都维护一个分区水位线
我先森·2024-01-20 19:26

Flink窗口与水位线不得不说的秘密

众所周知，ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界流进行有状态计算。
梧桐生湘云·2024-01-20 19:56

flink 窗口和水位线

我们的flink主要是用来处理无界数据流，一种方式就是将我们的无界数据流切割成有限的“数据块”进行处理，这就是我们的窗口(window)。
秃头小宝贝儿i·2024-01-20 19:56

Flink学习28:水位线

1.前言flink有3种时间，主要是事件时间和处理时间。水位线主要解决，数据乱序到达或者延迟到达的问题2.水位线原理即只有当水位线，越过窗口的结束时间，才会触发窗口计算。
hzp666·2024-01-20 19:25

flink学习记录之水位线

水位线的概念理解及工作原理：watermark是用于处理由于网络、背压等原因产生的乱序事件，窗口结束时间+延迟时间=最大waterMark值，即当waterMark值大于的上述计算出的最大waterMark值，该窗口内的数据就属于迟到的数据，无法参与window计算；代码中生成水位线的时间（即调用assignTimestampsAndWatermarks（WatermarkStrategywate
pasen_newer·2024-01-20 19:25

flink学习之水位线

什么是水位线在事件时间语义下，我们不依赖系统时间，而是基于数据自带的时间戳去定义了一个时钟，用来表示当前时间的进展。于是每个并行子任务都会有一个自己的逻辑时钟，它的前进是靠数据的时间戳来驱动的。我们可以把时钟也以数据的形式传递出去，告诉下游任务当前时间的进展；而且这个时钟的传递不会因为窗口聚合之类的运算而停滞。一种简单的想法是，在数据流中加入一个时钟标记，记录当前的事件时间；这个标记可以直接广播到
吃草料的羊·2024-01-20 19:24

三、IDEA Springboot Flink 项目创建

1.新建一个空的Maven项目2.填入项目名3.选择项目位置，完成4.在pom.xml中引入依赖org.apache.flinkflink-clients_2.121.9.1org.apache.flinkflink-streaming-java
战神_Lee·2024-01-20 18:13

Java设计模式详解

谢谢馆长准备了很多学习资料，其中包含java方面，jvm调优
艾利克斯冰·2024-01-20 14:25

Hive性能调优(二)——一文搞懂HiveSQL执行计划

测试的数据请看上一篇博客，数据行数500万。目录一.简单SQL的执行计划二.带普通函数SQL的执行计划三.带聚合函数SQL的执行计划四.带窗口函数SQL的执行计划五.表连接的SQL的执行计划一.简单SQL的执行计划explainselects_age,s_scorefromstudent_tb_seqwheres_age=20;+----------------------------------
程研板·2024-01-20 13:19

强力收藏！一文说全HiveConf类（Hive3.1.2版本）

一文说全HiveConf类（Hive3.1.2版本）作者：Eeeddieee工作中大部分时间都用到了Hive，虽然对Hive的架构、运行原理、调优方式有一定了解，但是很多都是在前人总结的基础上进行学习，
Eeeddieee·2024-01-20 13:17

Hive调优一文打尽

一、调优概述Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。
跟着大数据和AI去旅行·2024-01-20 13:16
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他