E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark调优
java性能
调优
权威指南_《Java性能权威指南》笔记----Java性能
调优
工具
OS1、CPU用户态时间(us):cpu执行应用代码所占时间的百分比。内核态时间(sy):cpu执行内核代码所占时间的百分比,系统态时间与应用相关。空闲时间(id):cpu空闲时间百分比。空闲可能的原因:1、应用被同步原语阻塞、等待锁释放2、应用等待某些东西,例如:查询数据库并等待返回结果3、应用的确无所事事运行队列(r):所有正在运行和就绪状态(一旦有可用cpu就可以运行)的线程数。该数据最好小
这样哈
·
2024-02-08 05:53
java性能调优权威指南
openGauss学习笔记-215 openGauss性能
调优
-确定性能
调优
范围-性能日志
文章目录openGauss学习笔记-215openGauss性能
调优
-确定性能
调优
范围-性能日志215.1性能日志概述215.2性能日志收集的配置参数openGauss学习笔记-215openGauss
superman超哥
·
2024-02-08 05:21
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
Spark
安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/
spark
-3.0.3-bin-hadoop3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
图解大数据 | 大数据分析挖掘-
Spark
初步
图解大数据|大数据分析挖掘-
Spark
初步作者:韩信子@ShowMeAI教程地址:www.showmeai.tech/tutorials/8…本文地址:www.showmeai.tech/article-det
Dashesand
·
2024-02-08 03:22
大数据
数据分析
spark
LoadRunner性能测试课程介绍
③集脚本编写、场景设计、监控、分析、
调优
于一体的性能课程。④以实战结合理论的模式,在实战中学习性能技巧。
一颗小金子
·
2024-02-08 01:59
几个MySQL系统
调优
工具
几个MySQL系统
调优
工具可以使用下面几个工具来做基准测试:sysbench:一个模块化,跨平台以及多线程的性能测试工具。
拾光师
·
2024-02-08 01:18
MySQL
程序人生
docker数据科学与
spark
镜像源与使用常见问题疑难解答
以下是一些与数据挖掘和数据科学相关的Docker镜像源:jupyter/all-
spark
-notebook:此镜像包含JupyterNotebook和
Spark
的完整环境,用于
Spark
开发和学习。
DreamNotOver
·
2024-02-08 01:16
eureka
java
spring
cloud
用docker 配置scala
spark
环境
要使用Docker配置Scala和
Spark
环境,您可以按照以下步骤进行操作。以下是一个基本的示例,您可能需要根据您的具体需求进行调整。安装Docker:在您的系统上安装Docker。
DreamNotOver
·
2024-02-08 01:14
python
数据挖掘
docker
docker
scala
spark
容器
Spark
Standalone 集群配置
集群管理类型
Spark
支持三种集群管理类型:Standalone-
Spark
附带的一个简单的集群管理器,可以轻松地设置集群。
董可伦
·
2024-02-07 23:01
Spark
spark
大数据
分布式
梯度提升树系列3——利用GBDT进行回归分析
目录写在开头1.回归问题的基本概念1.1回归分析的定义和目的1.2GBDT在回归中的特点2房价预测模型案例研究2.1数据准备和预处理2.2模型构建和评估方法2.3具体代码3模型
调优
和评估3.1参数
调优
的详细策略
theskylife
·
2024-02-07 23:58
数据挖掘
回归
数据挖掘
人工智能
RDD vs DataFrame vs Dataset
RDD是
Spark
最基础的数据结构。RDD允许开发者使用容错的形式在集群中使用内存计算,这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名
一生逍遥一生
·
2024-02-07 22:20
JVM垃圾回收机制及JVM
调优
垃圾回收算法标记复制算法:将内存分为两块,将存活的对象标记,按顺序复制到另一块空的内存然后清除没被标记的内存。空间利用率小,内存空间连续。标记清除算法:将存活的对象标记,删除未被标记的对象(也可以反过来)。对象多的话,效率低,内存空间不连续。标记整理算法:将存活的对象标记,将标记的对象向一端移动,然后将端的末端位置之后的对象全部删除。垃圾收集器1、serial收集器:单线程收集器,收集过程中会ST
阿柄666
·
2024-02-07 20:03
JVM调优
垃圾回收
jvm
java
算法
JVM相关-JVM模型、垃圾回收、JVM
调优
一、JVM模型JVM内部体型划分JVM的内部体系结构分为三部分,分别是:类加载器(ClassLoader)子系统、运行时数据区(内存)和执行引擎1、类加载器概念每个JVM都有一个类加载器子系统(classloadersubsystem),JVM的类加载器包括:用户自定义类加载器、应用类加载器、拓展类加载器、启动类加载器启动类加载器(BootstrapClassLoader)非java语言实现作用:
热心邻居老王
·
2024-02-07 20:32
JavaSE
Java
jvm
java
JVM
调优
-
调优
原则与思路
一、实施过程中的原则在
调优
之前,我们需要记住下面的原则:1、在应用上线之前,先考虑将机器的JVM参数设置到最优(最适合)。2、多数导致GC问题的Java应用,都不是因为我们参数设置错误,而是代码问题。
SIMON QIU
·
2024-02-07 20:32
JAVA
JVM
java
jvm
相机图像质量研究(9)常见问题总结:光学结构对成像的影响--工厂镜头组装
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:30
ISP
计算机视觉
数码相机
人工智能
相机图像质量研究(5)常见问题总结:光学结构对成像的影响--景深
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:00
ISP
计算机视觉
数码相机
相机图像质量研究(7)常见问题总结:光学结构对成像的影响--镜片固化
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:00
ISP
计算机视觉
数码相机
相机图像质量研究(8)常见问题总结:光学结构对成像的影响--工厂调焦
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:00
ISP
计算机视觉
数码相机
人工智能
相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:59
ISP
计算机视觉
数码相机
相机图像质量研究(6)常见问题总结:光学结构对成像的影响--对焦距离
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:58
ISP
计算机视觉
数码相机
Linux 的性能
调优
的思路
Linux操作系统是一个开源产品,也是一个开源软件的实践和应用平台,在这个平台下有无数的开源软件支撑,我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放,那么Linux作为一个开源平台,最终要实现的是通过这些开源软件的支持,以最低廉的成本,达到应用最优的性能。因此,谈到性能问题,主要实现的是Linux操作系统和应用程序的最佳结合。01、性能问题综述系统的性能是指操作
咖啡加剁椒.
·
2024-02-07 19:57
软件测试
linux
运维
服务器
自动化测试
软件测试
职场和发展
功能测试
【MySQL进阶之路】MySQL部署后一定记得先压测!
部署后的压测在选好数据库的硬件配置之后,如果在比较规范化的公司中,会交给专业的DBA进行MySQL数据库的部署,DBA就会根据以往的经验,使用MySQL生产
调优
的参数模板去部署MyS
11来了
·
2024-02-07 18:37
MySQL进阶之路
mysql
数据库
黑猴子的家:
Spark
SQL 的性能
1、内存列存储(In-MemoryColumnarStorage)内存列存储来说,将所有原生数据类型的列采用原生数组来存储,将Hive支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储。这样,每个列创建一个JVM对象,从而导致可以快速的GC和紧凑的数据存储。额外的,还可以用低廉CPU开销的高效压缩方法来降低内存开销。更有趣的是,对于分析查询中频繁使用的聚合特定列,性能会
黑猴子的家
·
2024-02-07 18:48
简单使用
Spark
、Scala完成对天气数据的指标统计
目录一、前言&什么是
Spark
?
db_lcz_2014
·
2024-02-07 18:33
spark
scala
大数据
每天100w次登录请求,4C8G机器:如何做JVM
调优
?
作者简介:大家好,我是小徐☁️博客首页:CSDN主页小徐的博客每日一句:好学而不勤非真好学者欢迎大家关注!❤️首先,我们需要问清楚一天100W次的登录,在一天内有没有某个时段是高峰的?高峰期的QPS大概可以达到多少。如果没有高峰期,虽然100万听上去挺多的,但是其实平均下来一秒钟的QPS也就10,这个量的话,其实根本不需要做什么特别的IM优化。一般业务场景中,都是有自己的业务高峰期的,比如电商业务
小徐很努力
·
2024-02-07 11:41
jvm
JVM
调优
工具
本次介绍一下在排查问题以及JVM
调优
的时候,常用的一些工具。1.示例项目首先创建一个示例项目,用于演示工具的使用。
逍遥白亦
·
2024-02-07 10:05
【Iceberg学习一】什么是Iceberg?
Iceberg为包括
Spark
、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能,使用一种高性能的表格格式,其工作方式就像一个SQL表一样。
周润发的弟弟
·
2024-02-07 10:56
Iceberg
学习
线程池的实现原理以及使用
线程是稀缺资源,如果无限制地创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,
调优
和监控。线程池的使用线程池的创建我们可以通过ThreadPoolExec
胖瘦馒头
·
2024-02-07 10:22
Redis(十二)Bigkey
文章目录游标案例生成100万测试数据key生产上限制keys*/flushdb/flushall等危险命令不使用keys*:scanBiigkey案例多大算大发现bigkey渐进式删除生产
调优
示例问题游标案例生成
Lucky_Turtle
·
2024-02-07 10:27
Java
redis
数据库
缓存
RDD任务切分之Stage任务划分(图解和源码)
RDD任务切分中间分为:Application、Job、Stage和Task(1)Application:初始化一个
Spark
Context即生成一个Application;(2)Job:一个Action
大数据左右手
·
2024-02-07 09:34
大数据
大数据
spark
stage切分
任务划分
scikit-learn决策树算法笔记总结
1.scikit-learn决策树算法类库介绍scikit-learn决策树算法类库内部实现是使用了
调优
过的CART树算法,既可以做分类,又可以做回归。
python收藏家
·
2024-02-07 09:01
决策树
算法
scikit-learn
kyuubi 接入starrocks | doris
kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1
spark
3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
JVM 性能
调优
- 常用的垃圾回收器(6)
垃圾收集器在JVM(Java虚拟机)中,垃圾收集器(GarbageCollector)是负责自动管理内存的组件。它的主要任务是在程序运行过程中,自动回收不再使用的对象所占用的内存空间,以便为新的对象提供足够的内存。JVM中的垃圾收集器使用不同的算法和策略来实现垃圾收集过程,以满足不同的性能和内存需求。以下是JVM中常见的垃圾收集器:Serial收集器:是最古老的垃圾收集器,使用单线程进行垃圾收集。
magic_kid_2010
·
2024-02-07 08:20
jvm性能调优
jvm垃圾回收器
jvm调优
JVM 性能
调优
- 五种内存溢出(5)
在介绍之前先简单介绍下直接内存(DirectMemory)和堆内存(HeapMemory):关系:直接内存并不是Java虚拟机的一部分,它是通过Java的NIO库中的ByteBuffer来分配和管理的。直接内存通常由操作系统的本地内存(NativeMemory)提供支持。堆内存是Java虚拟机的一部分,用于存储Java对象。堆内存由Java虚拟机的堆内存分配器来分配和管理。区别:分配方式:直接内存
magic_kid_2010
·
2024-02-07 08:50
jvm性能调优
jvm调优
java
内存溢出
JVM——一个神圣的话题,可远观而不可亵玩焉
文章目录一切不仅仅为了面试JVM
调优
理解JVM调什么:怎么调:为了解决什么问题:正常情况下需要调吗:JVM垃圾收集器区分垃圾收集方式垃圾收集的区域划分:按照收集垃圾的线程数量划分:对空间的利用率划分:垃圾收集器详细介绍
苏汀star
·
2024-02-07 08:53
JVM
jvm
java
Python自动化机器学习库之evalml使用详解
然而,构建和部署机器学习模型常常需要大量的时间和精力,涉及到数据预处理、特征工程、模型选择、超参数
调优
等一系列复杂任务。为了简化这个过程,使其更加高效,EvalML库应运而生。
Rocky006
·
2024-02-07 07:42
python
人工智能
开发语言
Hive Sql优化记录
日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveon
spark
要快70%,与正常的认知正好相反,所以对该sql进行了详细分析。
风筝flying
·
2024-02-07 07:40
Spring Cloud OpenFeign进阶实战
这样可以设置连接池,超时时间等对服务之间的调用
调优
。下面介绍使用HttpClient和Okhttp替换Feign默认的Client
NullzzZ
·
2024-02-07 07:24
spring
cloud
spring
后端
spring
boot
微服务
java
Spring Cloud Netflix Eureka的参数
调优
下面主要分为Client端和Server端两大类进行简述,Eureka的几个核心参数客户端参数Client端的核心参数参数默认值说明eureka.client.availability-zones告知Client有哪些region以及availability-zones,支持配置修改运行时生效eureka.client.filter-only-up-instancestrue是否过滤出Instan
NullzzZ
·
2024-02-07 07:48
微服务
Spring
Cloud系列文章
eureka
后端
spring
spring
boot
spring
cloud
java
微服务
Spark
JDBC读写数据库实战
默认的操作代码valdf=
spark
.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers
·
2024-02-07 07:41
Spark最佳实战与性能优化
spark
jdbc
数据库
IDEA 本地运行
Spark
IDEA本地运行
Spark
1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读
Spark
源码,
fir_dameng
·
2024-02-07 06:41
大数据开发
spark
Spark
Scala大数据编程实例
一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言,平滑地集成了面向对象和函数式语言的特性,旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想,只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”,从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台(JVM,Java虚拟机)上,并兼容现有
一直de不完的bug
·
2024-02-07 06:38
Hadoop
spark
大数据
hadoop
win10
spark
scala 本地运行wordcount
hadoopcommon,可以从github下载zip,解包以后设置HADOOP_HOME环境变量指向它,然后在PATH里加上HADOOP_HOME\bin,特别注意,hadoopcommon的版本要和
spark
疯琴
·
2024-02-07 06:06
大数据
java/scala
flink/spark
Scala与java
目录Scala简介Scala和java的区别
Spark
选择Scala的原因Scala:Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob
·
2024-02-07 06:05
Spark
Spark
scala如何本地运行
Spark
scala如何本地运行
Spark
任务调试太费时间啦
Spark
Scala本地运行
Spark
任务调试太费时间啦Apache
Spark
是一个开源的大数据处理框架,它提供了一个接口用于编程大规模分布式计算
HanhahnaH
·
2024-02-07 06:03
Spark
spark
scala
大数据
通义灵码——灵动指间,快码加编,你的智能编码助手
是阿里云出品的一款基于通义大模型的智能编码辅助工具,提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力,并针对阿里云的云服务使用场景
调优
阿里云云原生
·
2024-02-07 06:20
log4j
阿里云
云原生
通义灵码
Kafka 生产
调优
Kafka生产
调优
文章目录Kafka生产
调优
一、Kafka硬件配置选择场景说明服务器台数选择磁盘选择内存选择CPU选择二、KafkaBroker
调优
Broker核心参数配置服役新节点/退役旧节点增加副本因子调整分区副本存储三
@lihewei
·
2024-02-07 06:40
kafka
分布式
Zeppelin结合Flink查询hudi数据
目前ApacheZeppelin支持Apache
Spark
、ApacheFlink、Python、R、JDBC、
BigDataToAI
·
2024-02-07 05:38
hudi
flink
zeppelin
flink
python
big
data
Apache Zeppelin 整合
Spark
和 Hudi
一环境信息1.1组件版本组件版本
Spark
3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合
Spark
参考:ApacheZeppelin一文打尽
大数据AI
·
2024-02-07 05:03
大数据从入门到精通
spark
hudi
zeppelin
大数据
spark
sql上线前的调试工作实现
背景每个公司应该都有大数据的平台的吧,平台的作用就是可以在上面执行各种
spark
sql以及定时任务,不过一般来说,由于这些
spark
sql的上线不经过测试,所以可能会影响到生产的数据,这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2
·
2024-02-07 05:22
spark
spark
sql
大数据
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他