Flink调优第25页

FFA 2023 「流式湖仓」专场：从技术原理到应用实践打造流式湖仓新架构

今年FlinkForwardAsia（以下简称FFA）重新回归线下，将于12月8-9日在北京望京凯悦酒店举办。FlinkForwardAsia2023大会议程已正式上线！

Apache Flink·2024-01-20 12:21

JVM调优

Nick_4438·2024-01-20 12:51

flink不同方式加载MySQL维表demo

在flinksql中加载维表比较简单定时加载：CREATETABLEzktest(idintNOTNULL,namestring,PRIMARYKEY(id)NOTENFORCED--指定主键)WITH

Zhikuan53·2024-01-20 11:28

【Flink】Flink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上

文章目录1.概述2.场景12.1概述2.2解决1.概述2.场景12.1概述场景是这样的FlinkSQL消费kafka关联Hive维表最新分区刚开始我往Hive维表里筛了10条左右数据运行FlinkSQL

九师兄·2024-01-20 11:27

【Flink系列】开发篇：1. Flink维表关联方案

网上关于flink中维表关联的博文很多，本文我想谈一谈个人对不同方案的理解和尝试后发现的一些问题。如果想要比较全面地了解维表关联的各个解决方案，建

云若祯初·2024-01-20 11:56

Flink 维表

FlinkSQL功能解密系列——维表JOIN与异步优化阿里云-flink实时-数据维表

张之海·2024-01-20 11:52

【flink番外篇】15、Flink维表实战之6种实现方式-通过Temporal table实现维表数据join

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。

一瓢一瓢的饮 alanchanchn·2024-01-20 11:20

【Flink-CDC】Flink CDC 介绍和原理概述

【Flink-CDC】FlinkCDC介绍和原理概述1）基于查询的CDC和基于日志的CDC2）FlinkCDC3）FlinkCDC原理简述4）基于FlinkSQLCDC的数据同步方案实践4.1.案例1:

bmyyyyyy·2024-01-20 10:27

【Flink-1.17-教程】-【三】Flink 运行架构、Flink 核心概念【并行度、算子链、任务槽】、Flink 作业提交流程

【Flink-1.17-教程】-【三】Flink运行架构、Flink核心概念【并行度、算子链、任务槽】、Flink作业提交流程1）系统架构1.1.系统成员组成1.2.作业提交流程2）核心概念2.1.并行度

bmyyyyyy·2024-01-20 10:26

Flink的checkpoint遇到过什么问题，什么原因导致的

我们知道，Flinkcheckpoint机制是基于barrier的,在数据处理过程中，barrier也需要像普通数据一样，在buffer中排队，等待被处理。

暴走的贼宇·2024-01-20 10:54

Linux性能测试与调优的15条常用命令

一、CPU性能评估通过下面的命令能了解到CPU是否出现性能瓶颈，再结合top、ps等命令进一步检查，即可定位到那些进程导致CPU负载过大vmstat命令：查看CPU负载[oracle@oraclebackup]$vmstat23#间隔2s,打印3次procs-----------memory-------------swap-------io------system-------cpu-----r

数据与人·2024-01-20 10:47

JVM调优开启开启ZGC参数

jdk启动脚本#!/bin/bashPATH=${PATH}:/opt/HIEXSORT64/binLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/opt/HIEXSORT64/libNLSPATH=${NLSPATH}:/opt/HIEXSORT64/%L/%N.catexportPATHLD_LIBRARY_PATHNLSPATHBATCH_ROOT_PATH=$(pw

离离原上草77·2024-01-20 09:17

KafkaProducer011

ForeachcheckpointwecreatenewFlinkKafkaProducersothatnewtransactionswillnotclashwithtransactionscreatedduringpreviouscheckpoints

拓荒者001·2024-01-20 08:31

编写高性能 Java 代码的最佳实践

最后研究了JVM特定的调优技巧、数据库端的优化和架构方面的调整。以下是译文。介绍在这篇文章中，我们将讨论几个有助于提升Java应用程序性能的方法。

Java黎先生·2024-01-20 07:59

Pytorch学习第4周：综合应用和实战项目 Day 25-27: 模型调优和优化

第4周：综合应用和实战项目Day25-27:模型调优和优化在这段时间里，我们将深入学习和实践如何通过高级技巧优化Pytorch和TensorFlow模型的性能。

M.D·2024-01-20 06:57

Linux服务器性能调优之I/O调优详解

1.进程可以打开的文件数（高并发时常用）ulimit-n#查看一个进程可以打开的文件数修改进程可以打开的最大文件数临时修改：ulimit-n[进程数]永久修改：修改限制用户资源配置文件vim/etc/security/limits.conf末尾添加*softnofile102400*hardnofile102400------------------------------------------

linux大本营·2024-01-20 05:02

Flink中容错机制完整使用 (第十章)

Flink中容错机制完整使用一、容错机制1、检查点（Checkpoint）1、检查点的保存1.周期性的触发保存2.保存的时间点3.保存的具体流程2、从检查点恢复状态（1）重启应用（2）读取检查点，重置状态

小坏讲微服务·2024-01-20 03:10

记录JVM的学习

虚拟机常用参数：在虚拟机中输入java就可以启动一个java虚拟机，以横杠开头的都是标准参数；以-X开头的都是非标准参数，当在系统中输入java-X的时候，系统会把所有的非标准参数都列举出来;一般真正用来调优的参数是以

花里胡哨的菜只因·2024-01-20 03:24

Apache Flink 1.15正式发布

ApacheFlink核心概念之一是流(无界数据)批(有界数据)一体。流批一体极大的降低了流批融合作业的开发复杂度。

魏铁锤爱摸鱼·2024-01-20 02:00

Flink序列化框架分析

1.Flink的TypeInformation类TypeInformation是flink中所有类型的基类，其作为生产序列化器和比较的一个工具。

薛定谔的猫Plus·2024-01-19 23:20

Nginx架构设计

七大核心应用场景：反向代理、虚拟主机、域名解析、负载均衡、防盗链、url重定向、https高性能web服务器，负载均衡大型服务器的流量网关，应用网关，日志服务器，文件存储服务器模块化扩展，复杂功能的二次调优

浪里摸鱼·2024-01-19 22:37

高并发缓存问题分析以及分布式锁的实现

从数据库入手也是调优性价比最高的切入点。因此需要对我们的程序进行优化.一般采取两种方案:①从数据库自身出发:优化sql,通过分析sql給sql建立索引,优化查询

豆豆的java之旅·2024-01-19 20:04

如何对 OceanBase 进行 SQL 诊断和调优

作者简介：田逸飞（义博）：OceanBase高级开发工程师一、SQL执行流程SQL发送到OBServer后，会先由OBServer对其进行快速参数化，参数化后的SQL进入PlanCache尝试命中计划缓存。如果找到一个可以使用的计划，则直接将计划交由SQL的执行引擎去执行，并将执行完成后的结果返回给用户；如果没有找到可以使用的计划，则会重新为此SQL生成计划，完整地执行SQL的Parser、Res

OB小话唠·2024-01-19 19:19

【Flink】详解StreamGraph

概述没有看上一期的小伙伴请先看上一期【Flink】浅谈Flink架构和调度，上一期的一个核心内容就是Flink中的执行图可以分成四层：StreamGraph→JobGraph→ExecutionGraph

小猪猪家的大猪猪·2024-01-19 18:56

浅谈Flink架构及拓扑图

文章目录01引言02Flink架构03Flink拓扑结构3.1Flink的四层执行图3.2执行图细节3.3更多01引言声明：本文是博主阅读云邪（Jark）博客整理后的笔记，如有侵权，可联系博主删除。

杨林伟·2024-01-19 18:49

【日志分析系统】ELK 企业级日志分析系统

——————————————————————1．环境准备2．部署Elasticsearch软件（1）安装elasticsearch—rpm包（2）修改elasticsearch主配置文件（3）es性能调优参数

思华年^O^·2024-01-19 17:27

华为外包数据库面试问题分享20211225

数据库方面做过哪些，例如安装部署、开发支持、运维、调优？SQL调优这块你是怎么在做的。数仓的东西了解多少。数据库开发支持这方面你做过哪些。你现在的工作中的SQL开发，具体是作了哪些。

钦䲹·2024-01-19 16:05

德拓外包-大数据开发面试

没回答上来4.udf函数写过吗，flink消费kafka中的数据写过代码吗，需要看代码？5.使

劝学-大数据·2024-01-19 16:03

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。

大数据小理·2024-01-19 16:01

AI大模型里经常提到的“炼丹”、“挖矿”、“蒸馏”是什么意思？

炼丹重点描述模型调优的过程。这个过程往往需要大量的尝试和经验，包括选择合

AI明说·2024-01-19 14:02

java 垃圾回收GC(CMS、G1)原理及调优

概述本文介绍GC基础原理和理论，GC调优方法思路和方法，基于Hotspotjdk1.8，学习之后将了解如何对生产系统出现的GC问题进行排查解决阅读时长约30分钟，内容主要如下：GC基础原理，涉及调优目标

A゛孤青·2024-01-19 13:44

JVM垃圾回收

目录1回收对象判断2回收算法3分代回收4垃圾回收器4.1三种垃圾回收器对比4.2G14.2.1阶段划分4.2.2跨代引用4.2.3版本特性4.3Remark理解4.4FullGC5GC调优1回收对象判断

bone_ds·2024-01-19 13:10

Flink 集群与部署

部署一个Flink集群，首先需要根据自己的实际情况选择适合自己的部署模式和部署平台1.1部署模式主要根据以下需求而不同：不同模式的集群生命周期和资源隔离不同。

晚熟的程序员·2024-01-19 12:26

Flink编程——风险欺诈检测

Flink风险欺诈检测文章目录Flink风险欺诈检测背景准备条件FraudDetectionJob.javaFraudDetector.java代码分析执行环境创建数据源对事件分区&欺诈检测输出结果运行作业欺诈检测器欺诈检测器

不二人生·2024-01-19 09:31

Flink TaskManager内存管理机制介绍与调优总结

根据实际需求为TaskManager配置内存将有助于减少Flink的资源占用，增强作业运行的稳定性。TaskManager内存模型如下。

暴走的贼宇·2024-01-19 08:25

Flink中ProcessFunction的用法

ProcessFunction是ApacheFlink中用于实现更为复杂和灵活的流处理逻辑的一个关键抽象。它提供了一种更加底层和灵活的处理方式，允许开发者直接操作元素并定义事件处理的行为。

暴走的贼宇·2024-01-19 08:55

Flink的两阶段提交是什么

Flink社区将两阶段提交协议中的公共逻辑进行了提取和封装，发布了可供用户自定义实现特定方法来达到F

暴走的贼宇·2024-01-19 08:55

基于 Hologres+Flink 的曹操出行实时数仓建设

本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时数仓建设的分享，内容主要分为以下六部分：曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时数仓曹操出行实时数仓实践曹操出行业务成果分析未来展望一

Apache Flink·2024-01-19 08:54

flink之max与maxBy的区别

packagecom.sandra.day03;importcom.atguigu.bean.WaterSensor;importorg.apache.flink.api.common.functions.MapFunction

北斗星的城堡·2024-01-19 08:53

JVM实战（19）——JVM调优工具概述

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬学习必须往深处挖，挖的越深，基础越扎实！阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介前面章节，我们已经介绍了如何通过GC日志去分析系统的运行情况。本

smart哥·2024-01-19 08:51

FlinkAPI_Environment_输入源_算子转化流程

FlinkEnvironmentgetExecutionEnvironment()根据当前平台,获取对应的执行环境,若未设置并行度,使用flink-conf.yaml中的并行度配置,默认1.StreamExecutionEnvironmentenv

菜鸡逆袭·2024-01-19 08:20

第四章 FlinkAPI & 编程模型

1、API基础概述1.1、四层API（1）第⼀层是最底层的抽象为有状态实时流处理，抽象实现是ProcessFunction，⽤于底层处理（2）第⼆层抽象是CoreAPIs，许多应⽤程序不需要使⽤到上述最底层抽象的API，⽽是使⽤CoreAPIs进⾏开发，目前开发使用最多的；例如各种形式的⽤户⾃定义转换（transformations）、联接（joins）、聚合（aggregations）、窗⼝（w

随缘清风殇·2024-01-19 08:49

第四章 FlinkAPI之Source基础练习

Flink之SourceAPI概览1、元素集合应用场景：测试代码时使用env.fromElementsenv.fromColletionenv.fromSequence(start,end)代码实战packagecom.hxjy.app

随缘清风殇·2024-01-19 08:49

FlinkAPI开发之状态管理

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048Flink

Appreciate(欣赏)·2024-01-19 08:18

FlinkAPI（二）

一、Transformation操作1，map、flapmap、filterpublicclasstransTest1_Base{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();en

forerunner123·2024-01-19 08:17

Flink1.17 基础知识

Flink1.17基础知识来源：B站尚硅谷目录Flink1.17基础知识Flink概述Flink是什么Flink特点FlinkvsSparkStreamingFlink的应用场景Flink分层APIFlink

魅美·2024-01-19 08:16

【大数据】Flink 测试利器：DataGen

Flink测试利器：DataGen1.什么是FlinkSQL？2.什么是Connector？

G皮T·2024-01-19 08:45

Flink的KeyedProcessFunction基于Event Time和Process Time的定时器用法实例分析

FLink处理函数简介在Flink底层，我们可以不定义任何具体的算子（比如map，filter，或者window），而只是提炼出一个统一的【处理】（process）操作——它是所有转换算子的一个概括性的表达

PONY LEE·2024-01-19 08:14

FlinkAPI开发之容错机制

概述在Flink中，有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点。

Appreciate(欣赏)·2024-01-19 08:12

智算让大模型触手可及

要做好AI原生应用，有三个关键的因素：基础大模型好不好，根据业务数据及反馈对模型的调优好不好，以及大模型开发、应用方式好不好。百度及市场上的友商已经提供

百度Geek说·2024-01-19 07:27

推荐频道

Flink调优