Flink调优

45、Flink 的指标体系介绍及验证（3）- 完整版

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-30 11:56

48、Flink DataStream API 编程指南（1）- DataStream 入门示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-30 11:25

Apache Flink（二）：数据架构演变

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.业务处理-单体架构2.业务处理-微服务架构3.数据分析-大数据Lambda架构4.有状态流计算架构近年来随着越来越多的大数据技术被开源，例如：HDFS
IT贫道·2023-11-30 11:19

Flink 源码之 Distributed Cache

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录背景Flink分布式缓存(DistributedCache)可用于向作业的各个TaskManager分发文件。
AlienPaul·2023-11-30 10:14

SeaTunnel下载安装与使用

2.1SeaTunnel安装2.2SeaTunnel使用1SeaTunnel简介1.1SeaTunnel概述SeaTunnel是一个简单易用的数据集成框架，可运行于自身引擎或架构于ApacheSpark和ApacheFlink
你是光芒丶·2023-11-30 09:42

SeaTunnel 2.1.3 任务执行流程源码解析

通过我们努力让Spark、Flink的使用更简单、更高效，将行业的优质经验和我们对Spar、Flinkk的使用固化到产品SeaTunnel中，显着降低学习成本，加速分布式数据处理能力的部署
EdwardsWang丶·2023-11-30 09:57

MySQL 性能优化一

优化方向硬件和OS调优、MySql调优、架构优化。对架构的优化对mysql的性能优化收益最高。本文主要讨论架构优化。
h0731012·2023-11-30 08:54

JVM内存结构以及调优

JVM由那些部分组成，运行流程是什么？JVM包含两个子系统和两个组件:两个子系统为Classloader(类装载)、Executionengine(执行引擎)；两个组件为Runtimedataarea(运行时数据区)、NativeInterface(本地接口)。Classloader(类装载)：根据给定的全限定名类名(如：java.lang.Object)来装载class文件到Runtimedat
xiaochao_0107·2023-11-30 07:40

JVM介绍及调优

一：什么事jvmJvm是一种用于计算机设备的规范，他是一个虚构出来的计算机，是通过在实际的计算机仿真模拟各种计算机功能来实现的。Java语言的一个非常重要的特点就是与平台的无关性，而使用java虚拟机是实现这一特点的关键。一般语言要在不通的平台上运行，至少需要编译成不同的目标代码，而引入java语言虚拟机后，java语言在不通平台上运行时不需要重新编译，java语言使用java虚拟机屏蔽了与具体平
BoltBear·2023-11-30 07:10

垃圾收集器的种类及概述

也就是在JDK各个版本中可能会变动-Xint解释执行-Xcomp第一次使用就编译成本地代码-Xmixed混合模式，JVM自己来决定1.3-XX参数使用得最多的参数类型非标准化参数，相对不稳定，主要用于JVM调优和
欧冶渃·2023-11-30 07:39

JVM原理讲解和调优

一、什么是JVMJVM是JavaVirtualMachine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行，至少需要编译成不同的目标代码。而引入Java语言虚拟机后，Java语
宇宙无敌帅超人·2023-11-30 07:36

jvm 调优参数

-XX:+AlwaysPreTouch指定JVM启动时即刻分配整个堆内存空间；应用启动会变慢，但是运行时变快。-XX:MaxRAMPercentage=60.0指定JVM最大堆内存使用比例为60%；适用于容器部署-XX:MinRAMPercentage=60.0指定JVM最小堆内存使用比例为60%；适用于容器部署-XX:InitialRAMPercentage=60.0指定JVM初始堆内存使用比例
koral chen·2023-11-30 07:06

jvm内存模型及调优

JVM内存模型运行流程：java文件经过编译后的字节码文件，通过类装载子系统加载到jvm的虚拟机中。栈，在程序运行时，会给运行的线程分配专属的空间来存放局部变量。那么栈的是如何存放局部变量的呢？在栈中又含有栈帧（在运行到线程中的不同方法时，会给该方法分配一个独立的内存区域，来存放该方法的局部变量；即一个方法对应一块栈帧内存区域），每个栈帧中分别含有局部变量表，操作数栈，动态链接，方法出口；其中局部
qq_44209563·2023-11-30 07:33

JVM内存模型与调优参数

JVM内存模型本地方法栈本地方法栈为虚拟机使用到的Native方法服务Native方法是Java通过JNI直接调用本地C/C++库，可以认为是Native方法相当于C/C++暴露给Java的一个接口如notify，hashcode，wait等都是native方法堆通过new关键字创建的对象都会使用堆内存堆是线程共享的堆中有垃圾回收机制堆内存溢出（OutOfMemoryError）死循环创建对象堆内
卿乌·2023-11-30 07:02

【面试】浅学JVM调优

JDK=JRE+其他（一堆java工具（javac编译器）和java核心类库）JRE=JVM+其他（runtimeclasslibraries等组件）为什么要JVM调优【目的是什么】？
MXin5·2023-11-30 07:57

JVM内存模型+调优

一、JVM内存模型：Math.java一个简单的类publicclassMath{publicMath(){}publicintcompute(){inta=1;intb=2;intc=(a+b)*10;returnc;}publicstaticvoidmain(String[]args){Mathmath=newMath();math.compute();}}可以使用javap-cMath.cl
jingmengqianying·2023-11-30 07:24

JVM原理和调优(读这一篇就够了)

前言抛2个问题：1、exportJAVA_OPTS="-Xms256m-Xmx512m-Xss256m-XX:PermSize=512m-XX:MaxPermSize=1024m-Djava.rmi.server.hostname=136.64.45.24-Dcom.sun.management.jmxremote.port=9315-Dcom.sun.management.jmxremote.s
cd_scott·2023-11-30 07:48

JVM虚拟机原理与调优详解

JVM虚拟机原理与调优详解文章目录JVM虚拟机原理与调优详解JVMjava虚拟机JVM从软件的层面屏蔽了底层硬件指令层面的细节JVM是什么JDK>JRE>JVMJVM底层的原理执行引擎去执行代码硬件上来说执行引擎是
弎屲·2023-11-30 07:48

JVM参数调优

1、为什么会有JVM参数调优优化在项目运行过程中，往往会出现各种各样的性能瓶颈而影响程序的运行，或者用户的体验，每当遇到这些的问题的时候，都需要进行相应性能优化。
BUG指挥官·2023-11-30 07:45

JVM执行引擎以及调优

1.JVM内部的优化逻辑1.1JVM的执行引擎javac编译器将Person.java源码文件编译成class文件[我们把这里的编译称为前期编译]，交给JVM运行，因为JVM只能认识class字节码文件。同时在不同的操作系统上安装对应版本的JDK，里面包含了各自屏蔽操作系统底层细节的JVM，这样同一份class文件就能运行在不同的操作系统平台之上，得益于JVM。这也是WriteOnce，RunAn
欧冶渃·2023-11-30 07:12

Flink 源码周边之Maven Plugin

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言为了实现构建自动化，Flink项目使用了多种Maven插件，从而将构建过程各个步骤做成标准的、配置式流程。
AlienPaul·2023-11-30 07:40

spark常用的调优

1.分配更多的资源首选，一定范围内，增加资源与性能的提升成正比，在资源最大化后考虑后面的调优1.1分配哪些资源executor‐memory、executor‐cores、driver‐memory1.2
30b94afdf4b3·2023-11-30 05:36

Flink-sql 计数窗口

1.Flink的计数窗口有两种1.1计数混动窗口packagecom.wudl.flink.sql;importcom.wudl.flink.bean.WaterSensor;importorg.apache.flink.api.common.functions.MapFunction
wudl5566·2023-11-30 04:18

Flink-shell

1.FlinkSQl客户端启动一个flink的集群可以使用flink独立集群，也可以使用yarn-session.sh1.启动Hadoop集群2.yarn-session.sh-d3.sql-client.sh1.1sql-client.sh-isql-client.sh-i
大学生爱编程·2023-11-30 04:46

Flink窗口-计数窗口（CountWindow）

文章目录Flink窗口-CountWindow使用（一）数量窗口的本质（二）数量窗口的使用（1）调用WindowAPI（2）Window触发时执行计算逻辑①匿名内部类方式②自定义WindowFunction③
保护我方胖虎·2023-11-30 04:15

Flink-时间窗口源码分析

Flink-时间窗口源码分析Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文推荐1时间窗口基本概念见Flink学习1-基础概念-时间窗口窗口生命周期：2滚动窗口
迷路剑客·2023-11-30 04:14

Flink - 窗口

就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析时间窗口（TimeWindow）滚动时间窗口将数据依据固定的窗口长度对数据进行切分时间对齐，窗口长度固定，没有重叠滑动时间窗口会话窗口（只有Flink
javafanwk·2023-11-30 04:44

Flink-时间窗口

在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。时间语义1、处理时间（ProcessingTime）处理时间的概念非常简单，就是指执行处理操作的机器的系统时间。在这种时间语义下处理窗口非常简单粗暴，不需要各个节点之间进行协调同步，也不需要考虑数据在
open_test01·2023-11-30 04:13

数据库其它调优策略

文章目录1.优化MySQL服务器2.优化数据库结构2.1差分表：冷热数据分离3.大表优化3.1读/写分离3.2垂直拆分3.3水平拆分1.优化MySQL服务器电商平台，双十一，CPU使用率达到99%，系统的计算资源已经耗尽，再也无法处理任何新的订单了。这个时候，我们想到了对系统参数进行调整，一共调整3个系统参数，分别是InnoDB_flush_log_at_trx_commit：默认为0，改为2，这
ITfeib·2023-11-30 03:29

flink1.8.2 on yarn 运行在jdk1.7环境上

要知道flink是建立在jdk1.8上面的，奈何集群环境的是1.7flink-conf.yaml追加三行env.java.home:/opt/jdk1.8.0_31containerized.master.env.JAVA_HOME
南修子·2023-11-30 02:25

JVM-调优参数讲解

垃圾收集器堆配置-Xms:初始堆大小-Xmx:最大堆大小-XX:NewSize=n:设置年轻代大小-XX:NewRatio=n:设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4-XX:SurvivorRatio=n:年轻代中Eden区与两个Survivor区的比值。注意Survivor区有两个。如：3，表示Eden：Survivor=3：2，一
云天河_·2023-11-30 02:11

JVM调优实战

jvm可利用多大的内存空间操作系统32位:2的32次方=4G-操作系统一半空间=2g--jvm64位:2的64次方=16384PB-操作系统2G=剩余空间jvm调优原则gc时间足够小(堆内存设置小一些)
木木子丶·2023-11-30 01:16

54、Spark性能优化之Java虚拟机垃圾回收调优

Java虚拟机垃圾回收调优的背景如果在持久化RDD的时候，持久化了大量的数据，那么Java虚拟机的垃圾回收就可能成为一个性能瓶颈。
ZFH__ZJ·2023-11-30 00:48

Apache Flink——处理函数

前言在更底层，可以不定义任何具体的算子（比如map，filter，或者window），而只是提炼出一个统一的“处理”（process）操作——它是所有转换算子的一个概括性的表达，可以自定义处理逻辑，所以这一层接口就被叫作“处理函数”（processfunction）。在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（event）、状态（state）以及时间（time）。这就相当于对流有了
小波同学·2023-11-29 23:14

Flink SQL实战演练之CSV Format

简介：实时业务中行为数据一般是以日志的形式收集的，日志的结构通常类似于nginxaccesslog，我们在接收到日志后，需要对数据结构进行解析，按照一定的schema存储到后续的存储系统中，接下来聊聊近期对点击数据的处理方式。前言CSVFormat允许我们基于CSVschema进行解析和生成CSV数据，然后再将健值对数据映射成map，查询时根据字段取出对应的值作为字段值，下面分不同的实现方式进行阐
Coder小咚·2023-11-29 22:19

flink AskTimeoutException异常

java.util.concurrent.CompletionException:akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka.tcp://flink
Jackson_Tan·2023-11-29 22:48

Spark性能调优系列：Spark参数配置大全（官网资料）

Spark参数配置大全Spark提供了三个位置来配置系统Spark属性控制大多数应用程序参数，可以使用SparkConf对象或Java系统属性来设置。通过conf/spark-env.sh每个节点上的脚本，环境变量可用于设置每台计算机的设置，例如IP地址。可以通过配置日志log4j.properties。Spark属性Spark属性控制大多数应用程序设置，并分别为每个应用程序配置。这些属性可以在传
Mr Cao·2023-11-29 22:07

flink源码分析之功能组件(三)-rpc组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:06

flink源码分析之功能组件(四)-slotpool组件II

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:06

flink源码分析之功能组件(四)-slotpool组件I

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:03

JDK21协程-虚线程 openjdk源码解读 底层从Java代码到C/C++代码初次深度解读 虚线程调优

自从2022-12-08开始,下一个LTS版本JDK21已经进入了开发阶段。小编在此进行了一次主线版本的协程的初体验。说是协程，其实在JVM内部是以虚线程的概念存在的。小编这次从java代码到C/C++代码初次深度解读一下虚线程，毕竟JDK21已经进入了开发阶段，等到JDK21LTS版本发布的时候，变动应该不会很大，到时候我会再出一片文章来深度解读一下虚线程。今天我们来带着几个问题深度研究一下虚线
Rock姜·2023-11-29 20:46

Cufflinks --转录组组装有参考基因组

一.简介Cufflinks下主要包含cufflinks,cuffmerge,cuffcompare和cuffdiff等几支主要的程序。主要用于基因表达量的计算和差异表达基因的寻找。
g863402758·2023-11-29 18:45

flink任务编程-java版-基础环境准备

flink是目前流处理方面快速发展的计算平台，在针对该平台的编程介绍不少，但是有很多坑并没有完全搞清，这里将以往的使用经验与大家分享，希望能够加速大家掌握和使用。
李征兵·2023-11-29 18:35

【数据库】使用ShardingSphere+Mybatis-Plus实现读写分离

书接上回：数据库调优方案中数据库主从复制，如何实现读写分离ShardingSphere实现读写分离的方式是通过配置数据源的方式，使得应用程序可以在执行读操作和写操作时分别访问不同的数据库实例。
Bruce1801·2023-11-29 15:44

Flink项目系列2-实时热门商品统计

一.项目剖析基本需求:统计近1小时内的热门商品，每5分钟更新一次热门度用浏览次数（“pv”）来衡量解决思路在所有用户行为数据中，过滤出浏览（“pv”）行为进行统计构建滑动窗口，窗口长度为1小时，滑动距离为5分钟image.png按照商品Id进行分区image.png设置时间窗口image.png时间窗口（timeWindow）区间为左闭右开同一份数据会被分发到不同的窗口image.png窗口聚合i
只是甲·2023-11-29 15:21

spark-submit参数调优

一:spark-submit提交job的参数说明示例:spark-submit--masteryarn--classxxxx--executor-cores5--executor-memory5G--num-executor4xxx.jar解释:1.–executor-cores作用:决定了任务的并行度假设一个任务要想运行完成需要200个task,一个cpu核数同一时间只能运行一个task,目前总
是谁注册了我的2052·2023-11-29 12:07

大数据开发：Flink容错机制Task Failover策略

在Flink的容错机制当中，作业执行层面的容错，有一个非常重要的策略，就是TaskFailover策略，这是针对于计算层面的最小执行层面，在大数据流计算场景下，Task错误非常常见。
成都加米谷大数据·2023-11-29 12:37

精通Nginx（20）-配置调试方法与技巧

NGINX功能强大，模块多，对复杂需求要正确配置或正确调优，是有一定难度的。因此，如何进行配置调试就很重要，特别是对于生产环境调试。本文主要提供调试方法或技巧，对于配置调试Nginx非常又帮助。
乐享技术·2023-11-29 10:59

pytest系列——allure之集成缺陷管理系统和测试管理系统(@allure.link()、@allure.issue()、@allure.testcase()

三个装饰器源码deflink(url,link_type=LinkType.LINK,name=None):returnsafely(plugin_manager.hook.decorate_as_link
测试小婉·2023-11-29 09:39

Flink读取MongoDB中的数据

1.pom.xml添加相关依赖org.apache.flinkflink-hadoop-compatibility_2.111.6.0org.mongodb.mongo-hadoopmongo-hadoop-core2.0.02
fantasticMao·2023-11-29 08:01
上一页 51 52 53 54 55 56 57 58 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他