Flink调优

1.jvm基本知识

java和jvm的关系为什么学jvm怎么学习为什么jvm调优?
流月up·2023-11-14 10:57

Flink SQL --Flink 整合 hive

1、整合#1、将依赖包上传到flink的lib目录下flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar#2、重启flink集群yarnapplication-listyarnapplication-killapplication
新手小农·2023-11-14 10:41

Flink SQL 练习

--1、实时统计道路拥堵情况，--统计最近15分钟，每隔1分钟统计一次，--统计车流量和平均车速--将统计结果保存到数据库中--1、创建kafkasource表CREATETABLEcars(card_idString,--车牌号road_idString,--道路编号city_idString,--城市编号car_idString,--卡口编号com_idString,--摄像头编号fxStri
新手小农·2023-11-14 10:41

Flink SQL -- CheckPoint

1、开启CheckPointcheckpoint可以定时将flink任务的状态持久化到hdfs中，任务执行失败重启可以保证中间结果不丢失#修改flink配置文件vimflink-conf.yaml#checkppint
新手小农·2023-11-14 10:11

Flink SQL -- 反压

1、测试反压：1、反压：指的是下游消费数据的速度比上游产生数据的速度要小时会出现反压，下游导致上游的Task反压。2、测试反压：使用的是DataGenCREATETABLEwords(wordSTRING)WITH('connector'='datagen','rows-per-second'='100000',--每秒随机生成的数据量'fields.word.length'='4');CREAT
新手小农·2023-11-14 10:36

20个 Linux 服务器性能调优技巧

Linux是一种开源操作系统，它支持各种硬件平台，Linux服务器全球知名，它和Windows之间最主要的差异在于，Linux服务器默认情况下一般不提供GUI(图形用户界面)，而是命令行界面，它的主要目的是高效处理非交互式进程，响应时间并不是那么重要，相反，能够长时间处理高负载才是最关键的。Linux高可用服务器集群解决方案让IT系统管理员可以从容应对许多常见的硬件和软件故障，允许多台计算机一起工
佩哥说Java·2023-11-14 09:19

Linux 的性能调优的思路

转自：Linux云计算架构Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放，那么Linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是Linux操作系统和应用程序的最佳结合。01性能问
开源Linux·2023-11-14 09:17

linux调优工具,Linux性能调优工具

原标题：Linux性能调优工具在实际开发中，我们有时候会收到一些Linux服务的监控报警，比如CPU飙高，内存飙高等，这个时候，我们会登录到服务器上进行排查。
牛耿·2023-11-14 09:47

Linux操作系统硬件性能调优测试

Linux操作系统硬件性能调优测试1.CPU性能测试2.内存性能测试3.磁盘性能测试3.1.dd工具3.2.fio工具3.3.iostat工具4.存储性能测试5.网卡性能测试5.1.sar工具5.2.脚本工具
降世神童·2023-11-14 09:17

linux java 性能_Linux系统性能调优之性能分析

性能调优的第一步是性能分析，下面从性能分析着手进行一些介绍，尤其对Linux性能分析工具vmstat的用法和实践进行详细介绍。
微小蓝·2023-11-14 09:17

Linux系统调优

文章目录系统硬件资源1．CPU2．内存3．磁盘I/O性能4．网络宽带操作系统相关资源1．系统安装优化2．内核参数优化3．文件系统优化应用程序软件资源一linux服务器性能查看1.1cpu性能查看1、查看物理cpu个数：2、查看每个物理cpu中的core个数：3、逻辑cpu的个数：1.2内存查看1、查看内存使用情况：1.3硬盘查看1、查看硬盘及分区信息：2、查看文件系统的磁盘空间占用情况：43、查看
YJ Thoreau·2023-11-14 09:14

linux性能调优总结

做运维这几年也一直在搞性能调优，写这个文章也算是对工作的总结。讲调优第一步是，要讲为什么要调优？也就是系统分析，分析还需要有指标，做好性能监控的情况下，看到确实需要调优才能进行。
Yonself·2023-11-14 09:42

linux性能调优

Linux性能工具把观察到的性能问题跟系统原理关联起来，特别是把系统从应用程序、库函数、系统调用、再到内核和硬件等不同的层级贯穿起来。这些问题或场景。1·流量高峰期，服务器CPU使用率过高报警，登录Linux上去top完，进一步定位，是系统CPU资源太少，或者程序并发部分有问题。\2.系统没有跑吃内存的程序，free命令之后，发现系统没有内存了，哪里占用了内存。\3.收到Zabbix告警发现某台存
Richardlygo·2023-11-14 09:40

Linux—JVM等性能调优监控

介绍  在linux上跑程序时，常常遇到程序卡顿，内存消耗大，这时候，我们需要使用free查看内存使用情况及top内存消耗排行，当然，我们还可以继续使用一些其他的JVM监控命令如jstat等命令进行java程序的性能评估。free命令free命令介绍  free命令是显示系统内存的使用情况，一般包括了物理内存、交换内存以及内核缓冲区内存。free命令使用[linux@001]$free--help
java领域·2023-11-14 09:40

Linux 性能调优之硬件资源监控

写在前面考试整理相关笔记博文内容涉及Linux硬件资源监控常见的命名介绍，涉及硬件基本信息查看查看硬件错误信息查看虚拟环境和云环境资源理解不足小伙伴帮忙指正对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》系统出现问题，或者存在异常的日志信息，某
山河已无恙·2023-11-14 09:38

快速灵敏的Flink2

flink基础知识TumblingEventTimeWindows滚动开窗packageorg.apache.flink.streaming.api.windowing.assigners;importorg.apache.flink.annotation.PublicEvolving
罗刹海是市式市世视士·2023-11-14 08:10

数据库01-慢查询优化

MySQL优化MySQL优化是数据库管理和应用性能调优的一个重要方面。以下是一些常规性的MySQL优化经验和适用场景：索引优化：确保表的字段上有适当的索引，以加速查询。
Elaine202391·2023-11-14 08:09

SSH全能终端工具mobaXterm（远程工具）使用教程

mobaXterm使用教程目录引言mobaXterm概述安装与配置下载mobaXterm安装过程基础设置SSH连接创建SSH会话SSH命令行操作文件传输高级特性多标签和分屏宏和自动化脚本插件和扩展问题排查连接问题性能调优总结参考资料
Dontla·2023-11-14 07:59

大数据-Spark调优（二）

大数据-Spark调优（二）尽量避免使用shuffle类算子shuffle描述spark中的shuffle涉及到数据要进行大量的网络传输，下游阶段的task任务需要通过网络拉取上阶段task的输出数据，
海恋北斗星·2023-11-14 06:18

大数据之Spark调优：Explain 查看执行计划

目录Explain查看执行计划准备测试用表和数据基本语法执行计划处理流程案例实操代码Explain查看执行计划Spark3.0大版本发布，SparkSQL的优化占比将近50%。SparkSQL取代SparkCore，成为新一代的引擎内核，所有其他子框架如Mllib、Streaming和Graph，都可以共享SparkSQL的性能优化，都能从Spark社区对于SparkSQL的投入中受益。要优化Sp
浊酒南街·2023-11-14 06:17

Spark性能调优案例-优化spark估计表大小失败 和 小表关联 走 broadcast join

背景A任务中关联一张表，该表经过过滤和去重，数据量小于10MB，实际任务耗时较长。B任务关联一张小表，实际任务耗时较长排查思路A任务排查查看sparkUIsql界面：问题1：发现并没有走广播join观察此处join，对于76条数据的表，估计的大小超过10M，实际76条数据大小小于spark.sql.autoBroadcastJoinThreshold的值，导致这个问题的原因在对于broadcast
fir_dameng·2023-11-14 06:46

Spark性能调优案例-多表join优化，减少shuffle

背景A任务在凌晨1点到3点，平均耗时1h,且是核心公共任务，急需优化。整体逻辑示意图：//从tableA读取一次数据，放到临时表t1DROPTABLEIFEXISTStemp.tmp_xx_$date_1;CREATETABLEIFNOTEXISTStemp.tmp_xxx_$date_1asselectxxxfromtableAwherexxxx;//从临时表t1读取和转换数据，得临时表t2DR
fir_dameng·2023-11-14 06:45

JVM调优案例分析

1、大内存硬件上的程序部署策略这是笔者很久之前处理过的一个案例，但今天仍然具有代表性。一个15万PV/日左右的在线文档类型网站最近更换了硬件系统，服务器的硬件为四路志强处理器、16GB物理内存，操作系统为64位CentOS5.4，Resin作为Web服务器。整个服务器暂时没有部署别的应用，所有硬件资源都可以提供给这访问量并不算太大的文档网站使用。软件版本选用的是64位的JDK5，管理员启用了一个虚
一直不懂·2023-11-14 06:44

Spark 算子调优

使用mapPartition提升map类操作的性能数据量不是特别大的时候，都可以用这种MapPartitions系列操作，性能还是非常不错的，是有提升的。mapToPair----->mapPartitionsToPairreturnactionRDD.mapToPair(newPairFunction(){@OverridepublicTuple2call(Rowrow)throwsExcept
星空下的那个人影·2023-11-14 06:14

Spark 调优

Spark调优一、Spark资源参数调优二、开发调优**调优思路：**优先使用参数调优，如果参数调优不能满足我们的业务场景，这里就要涉及到代码调优一、Spark资源参数调优•num-executors：
栗子呀！·2023-11-14 06:13

Spark性能调优总结

目录1：spark为什么需要调优2.调优的本质3.什么是RDD从薯片加工了解rddRDD的特征和属性4.关于内存计算什么是内存计算：什么是DAGstage的划分stage中的内存计算是怎么样的5.调优之数据不动代码动
只会写demo的程序猿·2023-11-14 06:43

spark调优-开发调优

开发调优方式：（1）避免重复的RDD（2）尽可能多的复用一个RDD（3）对多次使用的RDD进行持久化（4）尽量避免使用shuffle类的算子（5）使用map-side预聚合的shuffle操作（combine
qichangjian·2023-11-14 06:12

hive on spark调优学习笔记

1集群环境概述1.1集群配置概述：所用集群由5台节点构成，其中2台为master节点，用于部署HDFS的NameNode，Yarn的ResourceManager等角色，另外3台为worker节点，用于部署HDFS的DataNode、Yarn的NodeManager等角色。Master节点配置为16核CPU、64G内存。Workder节点配置为32核CPU、128G内存。1.2集群规划概述：2ya
一只友·2023-11-14 06:39

大数据开发-Spark调优常用手段

Spark调优spark调优常见手段，在生产中常常会遇到各种各样的问题，有事前原因，有事中原因，也有不规范原因，spark调优总结下来可以从下面几个点来调优。
Hoult-吴邪·2023-11-14 06:39

Spark性能调优案例

在实际工作中，性能调优是必不可少的，虽然业务千种百样，实际落地的解决方案可能也不尽相同，但归根结底，调优的最终目的是使得内存、CPU、IO均衡而没有瓶颈。
大数据男·2023-11-14 06:08

Spark SQL调优案例：单字段NOT IN子查询优化

背景有如下的数据查询场景。表结构createtableorder(order_idlong,customer_idlong)partitionedby(datestring);要查询当天有订单，但是前一天没有订单的用户在当天的订单记录。数据分析的同事编写的最初版本的SQL如下select*fromorderwheredate='2021-07-17'andcustomer_idnotin(sele
hammertank·2023-11-14 06:38

【技术难点】hive on spark 调优

本文主要是想讲hiveonspark在运行于yarn模式的情况下如何调优。下文举例讲解的yarn节点机器配置，假设有32核，120GB内存。
无精疯·2023-11-14 06:05

spark调优案例分享

做了一个Spark调优案例的分享最近在整理了Spark相关的调优案例，并做了以下分享:spark调优案例，注意是MacKeynote
鸿乃江边鸟·2023-11-14 06:01

Flink Table和SQL动态表的理解(更新流和追加流)、动态表的种类

目录1.动态表1.1更新流(upsert、retract)的连续查询1.2追加流(append-only)的连续查询2.FlinkTable中动态表的种类注意：如果Timestamp属性列被用于计算，则下游的
Bulut0907·2023-11-14 05:42

Flink Table & SQL AppendStreamTableSink、RetractStreamTableSink、UpsertStreamTableSink 相关区别和变化

FlinkTable&SQLStreamTableSink有三类接口:AppendStreamTableSink、UpsertStreamTableSink、RetractStreamTableSink
wppwpp1·2023-11-14 05:42

Flink-SQL源码解读（一）window算子的创建的源码分析

本文大体框架参考https://blog.csdn.net/LS_ice/article/details/90711744flink版本：1.9Intro作为无限流的核心机制，流可以分割为大小有限的窗口
小凯Alex·2023-11-14 05:10

Flink必知必会系列之回撤流(RetractStream)源码解读

1.定义Flink中，KafkaSource是非回撤流，GroupBy是回撤流。
王知无(import_bigdata)·2023-11-14 05:39

Flink Table API和Flink SQL处理Row类型字段案例

从数据源获取Row类型数据流并使用FlinkTableAPI和FlinkSQL进行处理。
猫猫爱吃小鱼粮·2023-11-14 05:08

Flink SQL处理回撤流（Retract Stream）案例

FlinkSQL支持处理回撤流（RetractStream），下面是一个使用FlinkSQL消费回撤流的案例：假设有一个数据流，包含用户的姓名和年龄，希望计算每个姓名的年龄总和。
猫猫爱吃小鱼粮·2023-11-14 04:02

Redhat Linux v8.2 实时内核环境配置及参数调优

BC-LinuxV8.2实时内核环境配置及参数调优-------物理机&虚拟机一、前言本文档包含有关RedhatLinuxforRealTime的基本安装和调试信息。
沉浮简·2023-11-14 03:14

Flink1.12 使用WatermarkStrategy生成时间戳

Flink1.12版本后建议使用assignTimestampsAndWatermarks(WatermarkStrategy)的方式生成watermark，之前使用的assignTimestampsAndWatermarks
柏舟飞流·2023-11-14 01:14

使用Flink读取HBase数据

使用FlinkDataStreamAPI进行相关操作，依赖包如下：org.apache.hbasehbase-client${hbase.version}org.apache.hbasehbase-common
柏舟飞流·2023-11-14 01:14

Flink DataStream API编程

消费Kafka主题数据importorg.apache.flink.api.common.eventtime.WatermarkStrategy;importorg.apache.flink.api.common.serialization.SimpleStringSchema
柏舟飞流·2023-11-14 01:14

flink1.18.0 sql-client报错

报错FlinkSQL>select*fromt1;[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException
Thomas2143·2023-11-14 00:34

flink的键值分区状态自动过期ttl配置

背景flink的状态清理之前一直都是通过处理函数的ontimer设置定时器的方式清理掉那些无用的状态，但是这种方式容易出错而且代码也不优雅，使用flink提供的状态ttl的方式可以解决这个问题flink
lixia0417mul2·2023-11-13 22:07

flink对状态ttl进行单元测试

背景在处理键值分区状态时，使用ttl设置过期时间是我们经常使用的，但是任何代码的修改都需要首先进行单元测试，本文就使用单元测试来验证一下状态ttl的设置是否正确测试状态ttl超时的单元测试首先看一下处理函数：//处理函数publicclassMyStateProcessFunctionextendsKeyedProcessFunction{//键值分区状态ValueStatepreviousInp
lixia0417mul2·2023-11-13 22:36

flink的副输出sideoutput单元测试

背景处理函数中处理输出主输出的数据流数据外,也可以输出多个其他的副输出的数据流数据，当我们的处理函数有副输出时，我们需要测试他们功能的正确性，本文就提供一个测试flink副输出单元测试的例子测试flink
lixia0417mul2·2023-11-13 22:34

postgresql数据库优化

目录概要优化方法硬件知识CPU及服务器体系结构内存硬盘文件系统及I/O调优文件系统的崩溃恢复Ext2文件系统Ext3文件系统Ext4文件系统XFS文件系统BarriersI/OI/O调优的方法SSD的Trim
necessary653·2023-11-13 22:28

MySQL索引及调优篇

第06章_索引的数据结构1.为什么使用索引索引是存储引擎用于快速找到数据记录的一种数据结构，就好比一本教科书的目录部分，通过目录中找到对应文章的页码，便可快速定位到需要的文章。MySQL中也是一样的道理，进行数据查找时，首先查看查询条件是否命中某条索引，符合则通过索引查找相关数据，如果不符合则需要全表扫描，即需要一条一条地查找记录，直到找到与条件符合的记录。[外链图片转存失败,源站可能有防盗链机制
t624027645·2023-11-13 22:27

MySQL性能瓶颈以及优化

原链接：https://www.toutiao.com/a6725727372672238094/原来这样调优可以攻破MySQL性能瓶颈来一杯82年的Java2019-08-1619:37:13一、前言
eleven_4u·2023-11-13 22:44
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他