E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
损失函数调优
Spark数据倾斜解决方案
数据倾斜的解决,跟之前讲解的性能
调优
,有一点异曲同工之妙。性能
调优
,跟大家讲过一个道理,“重剑无锋”。
000X000
·
2023-11-24 09:52
数据分析
HIVE
Spark
spark
big
data
hive
spark 数据倾斜 解决思路
数据倾斜
调优
-绝大多数task执行得都非常快,但个别task执行极慢。
maketubu7
·
2023-11-24 09:44
spark
《好的沟通就是好的教育》第四天收获
强
调优
点,并不是
石姐说书
·
2023-11-24 09:56
优化 AIX 7 网络性能:NFS 监控和
调优
http://cloud.csdn.net/a/20110211/291647.html简介在考虑NetworkFileSystems(NFS)时,通常性能
调优
是您会想到的最后一件事。
islandstar
·
2023-11-24 09:25
NFS
aix
网络
优化
服务器
工具
tcp
nginx的性能
调优
系统层面:增大文件句柄打开数。临时修改ulimit–SHn永久生效vim/etc/security/limits.conf服务层面:每个进程的最大文件打开数设置的高一点。worker_rlimit_nofilecpu的亲和设置,把nginx的进程绑定到不同的cpu,减少进程频繁切换cpu带来的资源损耗。worker_processes8最多开启8个,8个以上性能不在提升,稳定性也会变差。1.9版本
Papi是蓝猫
·
2023-11-24 08:49
服务器
运维
轻雨新晴
雨悄无声息的模样,是无需渲染的水墨,是黑稠神秘的夜晚,也是春天的淡绿,有一种低
调优
雅的姿态。雨落时,燕子仍在雾蒙蒙的天空上回旋,翻飞,恣意游走,如烟岚般变幻莫测。
秦至作品
·
2023-11-24 05:47
Spring Cloud 学习(25) --- Zuul(七) Zuul 优化、Zuul 工作原理
如:与上层负载均衡器(Nginx等)、性能、
调优
等。
laiyy0728
·
2023-11-24 02:34
成为AI产品经理——模型构建流程(下)
1.模型训练模型训练就是要不断地训练、验证、
调优
直至让模型达到最优。那么怎么达到最优呢?就是要绘制一条比较好的决策边界。决策边界就是在符合某种条件做出某种选择的条件,根据这个条件可以将结果进行划分。
爱学习的时小糖
·
2023-11-24 02:07
AI产品经理
人工智能
产品经理
深度学习
成为AI产品经理——模型构建过程(上)
处理文本特征)网络关系型数据③特征选择④训练集/测试集一、背景虽然产品经理不需要参与到模型构建工作中,但是我们需要对模型构建过程有一定的了解,有点两点好处:1.对内配合算法同学进行数据收集、模型训练、参数
调优
爱学习的时小糖
·
2023-11-24 02:37
AI产品经理
产品经理
推荐系统对比学习中的
损失函数
一、InfoNoise-contrastiveestimation(InfoNCE) 最近在基于对比学习做实验,github有许多实现,虽然直接套用即可,但是细看之下,
损失函数
部分甚是疑惑,故学习并记录于此
怼怼是酷盖
·
2023-11-24 01:46
推荐系统
深度学习
人工智能
InfoNCE Loss公式及源码理解
InfoNCELoss公式及源码理解–从交叉熵损失谈起当谈论到信息论中的
损失函数
时,InfoNCE(NoiseContrastiveEstimation)和交叉熵损失都是两个关键的概念。
Marlowee
·
2023-11-24 01:13
深度学习
python
机器学习调参指南:提升模型性能的关键步骤
诸神缄默不语-个人CSDN博文目录文章目录1.理解模型的参数和超参数2.使用网格搜索进行超参数
调优
3.随机搜索4.贝叶斯优化5.使用交叉验证避免过拟合6.考虑正则化7.调整学习率和其他优化器参数8.实验和记录
诸神缄默不语
·
2023-11-24 01:51
人工智能学习笔记
机器学习
人工智能
调参
聊聊并发(3):Java线程池的分析和使用
线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,
调优
和监控。但是要做到合理的利用线程池,必须对其
Java面试:
·
2023-11-24 00:12
java
面试
并发
线程池
聊聊Java线程池原理
使用线程池的好处如下:降低资源消耗:可重复利用已创建的线程池,降低创建和销毁带来的消耗;提高响应速度:任务到达时,可立即执行,无需等待线程创建;提高线程的可管理性:线程池可对线程统一分配、
调优
和监控。
平凡的java梦
·
2023-11-24 00:11
Java
队列
java
面试
多线程
编程语言
多线程及并发编程之线程池一
线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,
调优
和监控。但是如果想要合
都要好好的O
·
2023-11-24 00:36
并发编程
并发编程
多线程
线程池
Gitlab快速安装
1、环境准备:windows10(作者是在windows下docker安装的,虽然官网不推荐,但是现在win里的wsl2环境提供了可能性,作者的电脑配置不高,经过
调优
后,gitlab能正常运行~)ubuntu18.04LTS
FrankyD90
·
2023-11-23 21:39
其他
docker
github
Linux 的性能
调优
的思路
Linux操作系统是一个开源产品,也是一个开源软件的实践和应用平台,在这个平台下有无数的开源软件支撑,我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放,那么Linux作为一个开源平台,最终要实现的是通过这些开源软件的支持,以最低廉的成本,达到应用最优的性能。因此,谈到性能问题,主要实现的是Linux操作系统和应用程序的最佳结合。01性能问题综述系统的性能是指操作系
程序员曦曦
·
2023-11-23 20:00
自动化测试
软件测试
软件测试工程师
linux
运维
服务器
功能测试
软件测试
自动化测试
程序人生
MySQL缩短查询时间小技巧
背景今天我要统计数据表的最新更新时间,有些表数据量特别大,所以统计比较费时间,但是如果使用一下小技巧,就会极大加快查询时间,适合小白的
调优
手段。
枫叶梨花
·
2023-11-23 20:11
mysql
数据库
吴恩达深度学习Course1-Week(1)(2)
文章目录吴恩达深度学习Course1-Week(1)(2)一、影响神经网络的性能的因素二、逻辑回归(logisticregression)中的一些符号(Notation)规定三、逻辑回归中的激活函数四、
损失函数
木心
·
2023-11-23 19:05
DeepLearning
深度学习
神经网络
机器学习
吴恩达深度学习笔记8-Course3-Week1【机器学习策略(ML Strategy)1】
结构化机器学习项目机器学习策略(MLStrategy)1一、机器学习策略介绍(IntroductiontoMLStrategy)1、机器学习策略就是超参数
调优
的策略,怎么调?怎们评估
调优
的效果?
Wang_Jiankun
·
2023-11-23 19:58
吴恩达深度学习
吴恩达深度学习笔记
吴恩达
深度学习
【GaussDB数据库简介】
1、在GaussDB运行的整个生命周期中实现了自运维、自管理、自
调优
、故障自诊断和自愈。通俗讲就相当于实现了数据库动态智能调参、
调优
,而传统的PostgreSql数
Zhao.Mr
·
2023-11-23 19:10
GaussDB
postgresql
前向传播与
损失函数
在机器学习和深度学习中,前向传播和
损失函数
是两个关键概念。它们在神经网络的训练过程中起着重要的作用,帮助模型学习和优化参数。一、前向传播前向传播是机器学习和深度学习中一种信息传递的过程。
非著名程序员阿强
·
2023-11-23 17:26
人工智能
开发语言
数学建模之拟合及其代码
拟合问题的目标是寻求一个函数(曲线),使得该曲线在某种准则下与所有的数据点最为接近,即曲线拟合的最好(最小化
损失函数
)最小二乘法在一维线性拟合中,采用的是最小二乘法来求得最优拟合。
Cr不是铬
·
2023-11-23 16:29
青少年编程
c++
Dropout 作用
在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上
损失函数
较小,预测准确率较高;但是在测试数据上
损失函数
比较大,预测准确率较低。Dropout可以比较有效的缓解过拟合的发
shadowismine
·
2023-11-23 14:12
机器学习
人工智能
TensorFlow基础(六)--TensorFlow中常用的优化器的对比与选择(Optimizer)
3.3Momentum3.4NAG(Nesterovacceleratedgradient)3.5Adagrad3.6RMSprop3.7Adadelta3.8Adam4.优化器的选择5.演示示例1.优化器的作用优化器是用来最小化
损失函数
的方法
王致列
·
2023-11-23 13:30
TensorFlow
优化器的对比
优化器的选择
tensorflow
Adam
梯度下降法
optimizer优化器详解
它可以将
损失函数
的梯度作为输入,并根据该梯度调整模型参数的值。常见的优化器算法包括随机梯度下降(SGD)、Adam、Adagrad等。
知我Deja_Vu
·
2023-11-23 13:28
机器学习
机器学习
Elasticsearch日志配置--性能
调优
之慢查询日志
es里面的操作,主要分为两种,一种写入(增删改),另一种是查询(搜索)我们分别要识别出来,哪些写入操作性能比较慢,哪些查询操作性能比较慢,先要识别出来有性能问题的这些慢查询,慢写入,然后才能去考虑如何优化写入的性能,如何优化搜索的性能搜索慢查询日志无论是慢查询日志,还是慢写入日志,都是针对shard级别的,因为大家应该知道,无论你是执行增删改,还是执行搜索,都是对某个数据执行写入或者是搜索,其实都
kennygu
·
2023-11-23 12:17
elasticsearch
Hive on Spark
调优
(大数据技术3)
相关文章:HiveonSpark
调优
(大数据技术1)HiveonSpark
调优
(大数据技术2)HiveonSpark
调优
(大数据技术3)HiveonSpa
菜鸟Octopus
·
2023-11-23 12:43
Spark
On
Hive调优
大数据
hive
spark
Hive-on-Spark
调优
集群规划Yarn配置yarn.nodemanager.resource.memory-mb该参数的含义是,一个NodeManager节点分配给Container使用的内存。该参数的配置,取决于NodeManager所在节点的总内存容量和该节点运行的其他服务的数量。考虑上述因素,此处可将该参数设置为64G,如下:yarn.nodemanager.resource.memory-mb65536yarn
工作变成艺术
·
2023-11-23 11:57
Hive
hive
spark
大数据
pytorch实现linear regression
在机器学习算法中,在最小化
损失函数
时,可以通过梯度下降法来一步步的迭代求解,得到最小化的
损失函数
,和模型参数值。
lit rebecca
·
2023-11-23 11:34
pytorch
python
机器学习
BTS-GAN:基于MRI和条件对抗性网络的乳腺肿瘤计算机辅助分割系统
Computer-aidedsegmentationsystemforbreasttumorusingMRIandconditionaladversarialnetworksBTS-GAN:基于MRI和条件对抗性网络的乳腺肿瘤计算机辅助分割系统背景贡献实验方法Paralleldilatedconvolutionmodule(并行扩展卷积模块)
损失函数
火柴狗
·
2023-11-23 10:21
生成对抗网络
网络
人工智能
EANet:用于医学图像分割的迭代边缘注意力网络
用于医学图像分割的迭代边缘注意力网络背景贡献实验方法Dynamicscale-awarecontextmodule(动态规模感知上下文模块)Edgeattentionpreservationmodule(边界注意力保持模块)
损失函数
火柴狗
·
2023-11-23 10:20
网络
机器学习
人工智能
计算机视觉
神经网络
doris通关之分区分桶
调优
doris通关之分区分桶
调优
1.名词解释2.数据分布2.1.分区列如何选择2.2.分桶列如何选择2.3.分桶数如何确定3.最佳实践4.分区、分桶常用命令分区分桶是将数据划分为子集,按一定规则,均衡地分布在不同节点上
左林右李02
·
2023-11-23 10:19
数据仓库
大数据
机器学习系列笔记九: 逻辑回归
机器学习系列笔记九:逻辑回归文章目录机器学习系列笔记九:逻辑回归IntroLogisticRegression原理激活函数逻辑回归的
损失函数
实现逻辑回归算法决策边界在逻辑回归中使用多项式特征代码实现逻辑回归中使用正则化
ChanZany
·
2023-11-23 08:13
神经网络机器学习
算法
python
机器学习
人工智能
【JVM精讲与GC
调优
教程(概述)】
如何理解虚拟机(JVM)跨语言的平台java虚拟机根本不关心运行在其内部的程序到底是使用何种编程语言编写的,他只关心“字节码”文件。java不是最强大的语言,但是JVN是最强大的虚拟机。不存在内存溢出?内存泄露?JAVA=(C++)–;垃圾回收机制为我们打理了很多繁琐的工作,大大提高了开发效率,但是,垃圾收集也不是万能的,懂得JVM内部的结构、工作机制,是设计高扩展性应用和诊断运行时间问题的基础,
一叶飘零晋
·
2023-11-23 08:02
JVM精讲与GC调优教程
JVM精讲与GC调优教程
服务器64GB内存、8核CPU的MySQL 8配置参数
服务器64GB内存、8核CPU的MySQL8配置参数可以按照以下步骤进行
调优
:调整缓冲区相关参数:增加innodb_buffer_pool_size的值,将其设置为4GB或更大,以加速频繁读取的操作。
DG_DH168
·
2023-11-23 06:29
mysql
服务器
mysql
运维
深入理解java虚拟机之JVM
调优
配置
转载文章:http://blog.csdn.net/sivyer123/article/details/17139443堆内存设置原理JVM堆内存分为2块:PermanentSpace和HeapSpace。Permanent即持久代(PermanentGeneration),主要存放的是Java类定义信息,与垃圾收集器要收集的Java对象关系不大。Heap={Old+NEW={Eden,from,
upwind_fly
·
2023-11-23 06:46
JVM
jvm
内存
redis性能测试及瓶颈分析
调优
一、简介Redis(RemoteDictionaryServer),即远程字典服务,是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的APImysql与redis的区别:类型上mysql是关系型数据库,而redis是缓存数据库;作用上mysql用于持久化的存储数据到硬盘,功能强大,但速度较慢;而redis用于存储使用较为频繁的数据
shines_m
·
2023-11-23 01:20
性能测试
redis
数据库
缓存
性能优化
聚类——基于机器学习_周志华
,首先从准确性和差异性两个重要概念引出集成学习“好而不同”的四字真言,接着介绍了现阶段主流的三种集成学习方法:AdaBoost、Bagging及RandomForest,AdaBoost采用最小化指数
损失函数
迭代式更新样本分布权重和计算基学习器权重
Pandy Bright
·
2023-11-23 00:13
机器学习
聚类
数据挖掘
神经网络
人工智能
算法
深度学习
JVM 参数配置及详解 -Xms -Xmx -Xmn -Xss
调优
总结
堆大小设置JVM中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制.32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制.我在WindowsServer2003系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m.典型设置:java-Xmx3550m-Xms3550m-Xmn2g-Xss12
QFdongdong
·
2023-11-23 00:10
网易云课堂学习-rocketMq批量消息和事务消息
为什么使用批量消息在很多
调优
的时候,比如数据库批量处理,有些请求进行合并发送等都是类似批量的实现。RocketMq批量发送也是为了追求性能,特别是在消息数量非常大的时候,批量效果非常明显。
tiankongyun123
·
2023-11-22 21:52
消息中间件
java
【论文阅读】NeuralProphet: Explainable Forecasting at Scale
1.1模块组成1.1.1趋势模块1.1.2周期性1.1.3自回归1.1.4滞后回归1.1.5未来回归1.1.6事件与节假日1.2预处理1.2.1缺失值1.2.2标准化1.2.3表式化1.3训练1.3.1
损失函数
qq_38142901
·
2023-11-22 19:57
时序预测
论文阅读
深度学习
人工智能
第一篇:深入理解JVM类加载机制
通过深入了解JVM,我们可以更好地理解Java应用程序的运行机制和性能
调优
,为Java开发者提供有价值的指导。
Java铁仙人
·
2023-11-22 18:46
深入学习JVM
jvm
java
后端
关于springboot max-http-header-size最大长度的那些事及JVM
调优
问题线上程序出现了OOM,程序日志中的输出为Exceptioninthread"http-nio-8080-exec-1027"java.lang.OutOfMemoryError:JavaheapspaceExceptioninthread"http-nio-8080-exec-1031"java.lang.OutOfMemoryError:Javaheapspace看线程名称应该是tomcat
菠萝y
·
2023-11-22 18:13
JAVA
springboot
Tomcat
java
spring
tomcat
spring
boot
jvm
mysql left join 耗时_性能
调优
:mysql之left join
需求是一个普通的两个表连接从而查询出详细信息。其中A表是大表,测试数据都有数万条;B表是小表大概1000多条数据。1.为了赶工写出的未优化SQL(为突出主题,返回字段用*代替不写出详细字段,WHERE条件也去掉了):SELECT*FROMAaLEFTJOINBbONa.JOB_ID=b.ID耗时:3.712srows字段代表这个步骤相对上一步结果每一行需要扫描的行数,可以看到这个sql需要扫描的行
帅小伙-路飞
·
2023-11-22 17:43
mysql
left
join
耗时
JVM OOM和CPU问题排查
目录1、JVM
调优
工具1.1、jps1.2、jstat1.3、jstack1.4、jinfo1.5、jmap2、OOM排查过程2.1、OOM原因2.2、OOM发生区域2.2.1、Java堆溢出:heap2.2.2
零点冰.
·
2023-11-22 16:35
JVM
jvm
OOM问题排查+Jvm优化
JVM
调优
的出发点:1、观察YGC的频率和耗时频率过高:可能是E和S的容量不够,2、观察FGC的频率和耗时频
信仰_273993243
·
2023-11-22 16:25
jvm
动手学深度学习笔记---4.3 解决过拟合_权重衰减与Dropout
目前常用的方法有以下两种:缩小模型参数量,例如降低模型层数,使得模型更加轻量化,L1L1L1正则化通过限制参数值的选择范围来控制模型容量,L2L2L2正则化:使用均方范数作为硬性限制,即对于参数w,bw,bw,b,假设其
损失函数
为
Aaaaaki
·
2023-11-22 15:06
深度学习
机器学习
人工智能
【机器学习】033_反向传播
一、计算图、反向传播原理1.回顾前向传播例:假设现在有一个神经网络,其仅有一个输出层和一个神经单元·定义·定义,即激活函数对激活值不再做具体处理·定义平方
损失函数
,计算a的值与真实值的差距此时,通过计算图
Cyan.__
·
2023-11-22 15:28
机器学习
机器学习
人工智能
python
java数据库之sql优化
一、导致SQL慢的原因(1)硬件问题:网络慢,IO慢,内存不足,吞吐量小,磁盘空间满(2)Sql写法问题(3)数据过多,分库分表(4)索引失效(5)服务器
调优
及各个参数设置二、分析原因时,一定要找切入点
这一刻_776b
·
2023-11-22 15:02
上一页
37
38
39
40
41
42
43
44
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他