E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
JAAV性能调优
第一篇:深入理解JVM类加载机制
通过深入了解JVM,我们可以更好地理解Java应用程序的运行机制和
性能调优
,为Java开发者提供有价值的指导。
Java铁仙人
·
2023-11-22 18:46
深入学习JVM
jvm
java
后端
mysql left join 耗时_
性能调优
:mysql之left join
需求是一个普通的两个表连接从而查询出详细信息。其中A表是大表,测试数据都有数万条;B表是小表大概1000多条数据。1.为了赶工写出的未优化SQL(为突出主题,返回字段用*代替不写出详细字段,WHERE条件也去掉了):SELECT*FROMAaLEFTJOINBbONa.JOB_ID=b.ID耗时:3.712srows字段代表这个步骤相对上一步结果每一行需要扫描的行数,可以看到这个sql需要扫描的行
帅小伙-路飞
·
2023-11-22 17:43
mysql
left
join
耗时
手写操作系统(1)——HelloOS
对于后端开发而言,操作系统层面的进程、线程、内存、I/O等相关知识根本逃不掉;对于WEB开发,
性能调优
更是离不开操作系统;对于运维、测试,如果操
青玉白露
·
2023-11-22 13:44
Linux应用参数配置和调优,Hadoop
性能调优
重要参数设置技巧
这里主要针对Mapreduce的
性能调优
。
花猹猹
·
2023-11-22 09:13
Linux应用参数配置和调优
Hadoop
性能调优
Hadoop
性能调优
1.简介Hadoop
性能调优
不仅涉及Hadoop本身的
性能调优
,还涉及更底层的硬件、操作系统和Java虚拟机等系统的调优。
回忆美好
·
2023-11-22 09:42
hadoop
性能调优
一、禁止文件系统记录时间Linux文件系统会记录文件创建、修改和访问操作的时间信息,这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间,这对HDFS这种读取操作频繁的系统来说,可以节约一笔可观的开销。可以修改/etc/fstab文件中noatime和nodiratime来实现这个设置。如对/mnt/disk1
挑战不可能,努力
·
2023-11-22 09:12
大数据
hadoop
性能调优
之参数调优
本文转载自:http://blog.csdn.net/fp196391196391/article/details/8302121这里主要针对Mapreduce的
性能调优
。
我是机智的鱼油
·
2023-11-22 09:12
Hadoop Yarn
性能调优
文章目录HadoopYarn
性能调优
1环境2yarn-site.xml配置HadoopYarn
性能调优
版本:hadoop-3.1.31环境内存vCode线程数hadoop1018G4核CPU4hadoop1028G4
老鼠扛刀满街找猫@
·
2023-11-22 09:41
hadhoop
hadoop
big
data
转载:Hadoop
性能调优
blog.csdn.net/dxl342/article/details/52840455https://blog.csdn.net/u014156013/article/details/81347670Hadoop
性能调优
DT鸽子
·
2023-11-22 09:09
Hadoop
hadoop调优
Hadoop
性能调优
概要说明
本文试着从
性能调优
的总体原则入手来了解概要,实际生产中遇到的问题也会在这个框架下处理。Hadoop运行环境:下面大致给出这四个层次的调优原则。1、硬件选型原则2、操作系统调优1)避免使用swap分区将
fjssharpsword
·
2023-11-22 09:07
Big
data
Hadoop专栏
Hadoop参数调优
Hadoop参数调优
性能调优
涉及4个方面:CPU利用率、内存占用情况、磁盘I/O和网络流量。有很多因素会对HadoopMapReduce性能产生影响。
MrZhangBaby
·
2023-11-22 09:05
谈笑间学会HDFS
Hadoop
谈笑间学会大数据
hadoop
mapreduce
hdfs
Hadoop
性能调优
建议
一、服务器配置1.BIOS配置:关闭smmu/关闭cpu预取/performance策略2.硬盘优化raid0打卡cache/jbodscheduler/sector_size/read_ahead_kb3.网卡优化rx_buff/ring_buffer/lro/中断绑核/驱动升级4.内存插法:要用均衡插法,内存配对插。5.占用通道:先把每个通道都插满,再去插对应通道。(内存通道分布请查看机箱背板
shining_yyds
·
2023-11-22 09:33
hadoop
运维
linux
JVM
性能调优
JVM
性能调优
JVM(JavaVirtualMachine)
性能调优
是优化Java应用程序性能的关键步骤。
我の唯一
·
2023-11-22 09:24
系统架构
jvm
测试工具
java
CK03# ClickHouse日志存储设计点梳理
本文主要梳理了使用ClickHouse作为日志存储的设计点,主要内容有:应用日志存储时长定制ClickHouse数据的冷热存储ClickHouse数据迁移与删除ClickHouse查询
性能调优
点一、应用日志存储时长定制公司所有的应用存储日志时长统一设置固定存储时长
瓜农老梁
·
2023-11-22 03:54
大数据
java
数据库
mysql
redis
aix系统java堆_浅谈AIX环境下的Java
性能调优
fromIBMJava性能准则在编写Java应用程序时,以下是基本的准则:使用字符串缓冲区而不是字符串连接,当进行连续字符串操作时要避免不必要地创建那些最终必须经过垃圾回收的对象。避免连续写入Java控制台以减少字符串操作、文本格式化以及输出的花费。必要时通过使用变量的原语类型来避免对象创建和操作的花费。经常高速缓存用过的对象以减少必须的垃圾回收数量,并且避免重复创建对象的需求。尽可能分组本地操作
weixin_39571938
·
2023-11-21 22:32
aix系统java堆
性能测试-结果评估与展示(19)
面向开发部门开发工程师在性能测试阶段,主要参与性能缺陷分析、
性能调优
测试开发-东方不败之鸭梨
·
2023-11-21 10:08
性能测试
测试
DolphinDB 流计算优化实践:时延统计与
性能调优
在实时计算中,端到端的响应延迟是衡量计算性能时最重要的指标。DolphinDB内置的流数据框架支持流数据的发布与订阅、流式增量计算、实时关联等,用户能够快速实现复杂的实时计算任务,达到毫秒级甚至亚毫秒级的效果,而无需编写大量代码。本文介绍如何对DolphinDB流计算任务进行全链路的时延统计,以及如何优化脚本以实现更低时延的实时计算:1.耗时统计在关键链路上记录处理的时刻,可以反映流计算各个环节的
DolphinDB智臾科技
·
2023-11-21 10:59
流计算
数据分析
实时计算
流计算引擎
数据库
数据统计
DolphinDB
浅谈JVM调优
内存模型、工作原理、垃圾回收JVM调优目的使用较小的内存占用来获得较高的吞吐量或者较低的延迟吞吐量:用户程序运行时间占用户程序和垃圾收集占用总时间的比值延迟:减少fullgc,减少STW,减少程序暂停,提高
性能调优
工具
EnndmeRedis
·
2023-11-21 08:49
advance
java
JVM
调优
Redis基础、高级特性与
性能调优
之后概览Redis提供的高级能力,并在部署、维护、
性能调优
等多个方面进行更深入的介绍和指导。本文适合使用Redis的普通开发人员,以及对Redis进行选型、架构设计和
性能调优
的架构设计人员。
梅西爱骑车
·
2023-11-21 04:56
分布式架构知识体系必读
关键词节点,时间,一致性,CAP,ACID,BASE,P2P,机器伸缩,网络变更,负载均衡,限流,鉴权,服务发现,服务编排,降级,熔断,幂等,分库分表,分片分区,自动运维,容错处理,全栈监控,故障恢复,
性能调优
zl1zl2zl3
·
2023-11-20 20:43
分布式
架构
分布式
架构
Tomcat 9.0.54源码环境搭建
一.问什么要学习tomcattomcat是目前非常流行的web容器,其性能和稳定性也是非常出色的,学习其框架设计和底层的实现,不管是使用、
性能调优
,还是应用框架设计方面,肯定会有很大的帮助二.运行源码1
Aberwang9157
·
2023-11-20 19:48
java
开发语言
tomcat
面试官:我就问了一个JVM
性能调优
,没想到他能吹半个小时
一、JVM内存模型及垃圾收集算法1.根据Java虚拟机规范,JVM将内存划分为:New(年轻代)Tenured(年老代)永久代(Perm)其中New和Tenured属于堆内存,堆内存会从JVM启动参数(-Xmx:3G)指定的内存中分配,Perm不属于堆内存,由虚拟机直接分配,但可以通过-XX:PermSize-XX:MaxPermSize等参数调整其大小。年轻代(New):年轻代用来存放JVM刚分
程序员麦冬
·
2023-11-20 17:38
Java性能优化最佳实践,附答案
一,阿里巴巴面试题二,百度面试题三,蚂蚁金服面试题四,美团面试题五,携程面试题六,所有面试题所得结论通过面试题来看,可以看出目前互联网公司面试考点为:
性能调优
、算法数据机构高并发下数据安全、接口冪等性、
最新Java面经
·
2023-11-20 08:01
程序员
面试
后端
java
luajit开发文档中文版(一)下载和安装
LuaJIT扩展luajit开发文档中文版(三)FAQ常见问题luajit开发文档wiki中文版(一)总目录luajit开发文档wiki中文版(二)LuaJIT扩展luajit开发文档wiki中文版(三)
性能调优
和测试
zh7314
·
2023-11-20 01:05
lua
开发语言
Hive参数与性能企业级调优(建议收藏)
但是如果我们只局限于会使用Hive,而不考虑性能问题,就难搭建出一个完美的数仓,所以Hive
性能调优
是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive
性能调优
的一些方法及技巧。
坨坨的大数据
·
2023-11-19 23:58
最全JVM与
性能调优
知识点总结,看看哪些是你还没掌握的?
最后,通过对内存的回收机制和垃圾回收算法的讲解,引出到JVM的
性能调优
这一主题,在这个部分会着重讲解垃圾回收算法以及常见的垃圾回收器的区别和使用
前程有光
·
2023-11-19 23:16
spark
性能调优
之合理的并行度设置
Spark
性能调优
之合理设置并行度1.Spark的并行度指的是什么?spark作业中,各个stage的task的数量,也就代表了spark作业在各个阶段stage的并行度!
浪子城
·
2023-11-19 18:07
大数据
spark优化
大数据
Spark
性能调优
之合理设置并行度
1.Spark的并行度指的是什么?spark作业中,各个stage的task的数量,也就代表了spark作业在各个阶段stage的并行度!当分配完所能分配的最大资源了,然后对应资源去调节程序的并行度,如果并行度没有与资源相匹配,那么导致你分配下去的资源都浪费掉了。同时并行运行,还可以让每个task要处理的数量变少(很简单的原理。合理设置并行度,可以充分利用集群资源,减少每个task处理数据量,而增
跳跃的list
·
2023-11-19 18:06
spark
spark
调优
【Spark】|【Spark
性能调优
】|【设置并行度】|【Spark多配置优先级】|【总结】
一、【关于Spark并行度】1.什么是Spark的并行度?并行度其实就是指的是spark作业中,各个stage的task的数量,也就代表了spark作业在各个阶段stage的并行度2.官方推荐task的个数?官方推荐,task数量,设置成sparkApplication总cpucore数量的2~3倍。比如:150个cpucore,基本设置task数量为300~500。【由于task实际处理运行时间
Haven.Liu
·
2023-11-19 18:35
Spark
Spark
性能调优
task并行度
配置读取优先级
spark
性能调优
| 默认并行度
SparkSql默认并行度看官网,默认并行度200https://spark.apache.org/docs/2.4.5/sql-performance-tuning.html#other-configuration-options优化在数仓中task最好是cpu的两倍或者3倍(最好是倍数,不要使基数)拓展在本地task需要自己设置,cpu就是local[x]x就代表cpu数在yarn--num-
Knight_AL
·
2023-11-19 18:04
Spark优化
spark
大数据
分布式
Spark
性能调优
之并行度设置
Spark
性能调优
之并行度设置Spark作业中的并行度什么是并行度Spark在每一个stage中task数量,就称为这个stage上的并行度;为什么要设置并行度如果你按照集群能给的最大资源给当前Spark
fffalconer
·
2023-11-19 18:04
Spark
spark
大数据
分布式专题-NIO框架之Netty06 - Netty
性能调优
与设计模式
目录导航前言设计模式在Netty中的应用单例模式源码举例策略模式源码举例装饰者模式源码举例观察者模式源码举例迭代器模式源码举例责任链模式源码举例工厂模式源码举例Netty高性能并发调优Netty应用程序
性能调优
单机百万连接调优解决思路后记前言本节我们就需要基于
✎ℳ๓₯㎕...雲淡風輕
·
2023-11-19 17:48
分布式专题
netty
java
设计模式
性能调优
高并发
移动端调试小结
web应用调试分几部分:检查dom结构树和样式树,抓取脚本的执行log,查看网络请求和返回,以及通过performancetools进行
性能调优
。
Lingli_yu
·
2023-11-19 16:21
【OpenVAS】一个快速、简洁的 OpenVAS 扫描解决方案
它具有无身份验证和身份验证测试的功能,支持各种高级和低级互联网和工业协议,能够进行大规模扫描的
性能调优
,还提供强大的内部编程语言,用于实施任何类型的漏洞测试。
KnightYangHJ
·
2023-11-19 11:12
Linux
Network
运维
github
安全威胁分析
JVM
性能调优
监控工具jps、jstat、jmap、jstack、使用详解
文章目录jps常用参数jstat常用参数jmap常用参数jstack常用参数jps查看所有的jvm进程,包括进程ID,进程启动的路径等等。我自己也用PS,即:ps-ef|grepjava#jps1257Jps10wallet-trade-1.0-SNAPSHOT.jar常用参数-v输出传递给JVM的参数#jps-v1379Jps-Dapplication.home=/opt/jdk1.8.0_17
杰哥的技术杂货铺
·
2023-11-19 01:59
java
jvm
jvm性能调优
jps
jstat
jmap
jstack
JVM常用
性能调优
工具详解1
前言工程学科是在不断动手的过程中来细化自己的领域,就像练武功一样,单凭着掌握一身武林绝学是远远不够的,在实战中,如何在多变的环境面前使用合适的招式,怎样出击,应该选择怎样的功法去迎击未知的对手,这往往都是经验之谈,当你踩过了无数的坑,沉淀了无数的线上问题,总结无数的经验,当问题来的时候你能拥有自己独特的见解与方案,你才能所向披靡,战无不胜。当你经验少的时候,要多学会辛苦一下自己,大不了就是比别人多
怎能止步于此
·
2023-11-18 22:20
面试
性能调优
jvm
1024程序员节
SDN实战团技术分享(三十八):DPDK助力NFV与云计算
对于用户来说,它可能是一个出色的包数据处理性能加速软件库;对于开发者来说,它可能是一个实践包处理新想法的创新工场;对于
性能调优
者来说,它可能又是一个绝佳的成果分享平台。
lingshengxiyou
·
2023-11-18 20:32
DPDK
c++
linux
云计算
linux
dpdk
c++
虚拟机
8年经验之谈 —— 记一次接口压力测试与
性能调优
!
经验总结1.如果总的CPU占用率偏高,且基本都被业务线程占用时,CPU占用率过高的原因跟JVM参数大小没有直接关系,而跟具体的业务逻辑有关。2.当设置JVM堆内存偏小时,GC频繁会导致业务线程停顿增多,TPS下降,最后CPU占用率也低了;3.当设置JVM堆内存偏大时,GC次数下降,TPS上升,CPU占用率立刻上升。4.Dom4J这个xml解析工具性能很强大,但在处理节点和层级都较多的xml文本时,
MJH827
·
2023-11-17 16:36
自动化测试
压力测试
jmeter
测试工具
功能测试
自动化
实时数仓入门训练营:Hologres
性能调优
实践
简介:《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7门精品课程帮助你5天时间从小白成长为大牛!视频链接:https://developer.ali
阿里云云栖号
·
2023-11-17 14:11
云栖号技术分享
Hologres
存储
Hologres
性能调优
查看执行计划explain仅仅生成执行计划、sql没有执行explainanalyzesql会执行,并收集实际运行中的一些信息性能优化手段表结构、表数据变动后执行analyzetable执行计划中没有让小表hashjoin,说明表的统计信息有误,大表、小表都执行analyze设置distribution_key,distribution_key决定数据存储在哪个shardMotionnode不合适
欧皇西西
·
2023-11-17 14:09
大数据
阿里云
odps
Spark~~Spark
性能调优
文章目录第1章Spark
性能调优
1.1常规
性能调优
1.1.1常规
性能调优
一:最优资源配置1.1.2常规
性能调优
二:RDD优化1.1.3常规
性能调优
三:并行度调节1.1.4常规
性能调优
四:广播大变量1.1.5
几窗花鸢
·
2023-11-17 10:41
Spark
spark
大数据
分布式
极客时间Spark
性能调优
实战-学习笔记(1)
通用
性能调优
(一)一、应用开发三原则原则一:使用spark自身的调优机制充分利用Spark为我们提供的“性能红利”,如钨丝计划、AQE、SQLfunctions等等。钨丝计划的优势?
我不认识CBW
·
2023-11-17 10:40
spark
big
data
大数据
Spark
性能调优
1常规
性能调优
1.1常规
性能调优
一:最优资源配置Spark
性能调优
的第一步,就是为任务分配更多的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的
性能调优
策略
高个子男孩
·
2023-11-17 10:09
Spark
spark
大数据
scala
Spark
性能调优
总结
分配更多资源写完了一个复杂的spark作业之后,进行
性能调优
的时候,首先第一步,我觉得,就是要来调节最优的资源配置;在这个基础之上,如果说你的spark作业,能够分配的资源达到了你的能力范围的顶端之后,
星空下的那个人影
·
2023-11-17 10:09
大数据面试
spark
[Spark]二Spark
性能调优
|Spark任务监控|程序调优|资源调优
二.spark
性能调优
1.Spark任务监控对Spark性能的调优离不开对任务的监控,只有在运行过程中,通过监控手段发现问题,才能迅速定位问题所在。
胖胖学编程
·
2023-11-17 10:37
spark
spark
大数据
分布式
1024程序员节
spark-调优-
性能调优
&内存管理
前置主要涉及6个参数,从3个方面:executor、core、内存的大小,并行度,内存管理进行调优优化的方案资源分配num-executors:spark使用多少个executorsexecutor-cores:core和task的数量这2个参数要结合一起来配置,还要考虑可用的计算资源,executor-cores设置为2-4个比较合适,num-executors就是总共可用的cores除以exe
zdkdchao
·
2023-11-17 10:36
spark
spark
big
data
大数据
spark
性能调优
(二):内存
Memory一、spark内存简介二、堆内内存or堆外内存?三、如何用好RDDCache?四、OOM怎么办?一、spark内存简介spark2.0后,基本上spark内存的管理就已经自动化了,内存出现问题基本上是一些数据问题。比如数据倾斜spark.executor.memory是绝对值,指定了executor进程的JVMHeap总大小spark.memory.fraction是比例值,标记spa
我爱夜来香A
·
2023-11-17 10:05
Spark
spark
jvm
大数据
Spark 优化 (一) --------- Spark
性能调优
目录一、常规
性能调优
1.最优资源配置2.RDD优化3.并行度调节4.广播大变量5.Kryo序列化6.调节本地化等待时长二、算子调优1.mapPartitions2.foreachPartition优化数据库操作
在森林中麋了鹿
·
2023-11-17 10:34
Spark
spark
大数据
分布式
spark
性能调优
| 内存优化
目录我们先了解一下有哪些内存温馨提示RDD示范(spark版本2.1.1)RDD进行优化Df和Ds进行示范我们先了解一下有哪些内存1.storage内存存储数据,缓存可预估2.shuffle内存计算joingroupby不可预估spark1.6之前静态管理的,spark1.6之后变成动态管理默认0.5温馨提示在公司尽量不要写rdd(性能不好)RDD示范(spark版本2.1.1)我们转成rdd去跑
Knight_AL
·
2023-11-17 10:00
Spark优化
spark
大数据
分布式
MySql数据库
性能调优
Masud说道:MySql数据库
性能调优
是web开发的重要内容,当流量暴增的时候,数据库就撑不住了,如何调优呢?
iteye_9367
·
2023-11-16 02:49
mysql
MySQL
WordPress
performance
PHP
Web
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他