E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
交叉熵损失函数
阅读笔记-PRECISE ADJACENT MARGIN LOSS FOR DEEP FACE RECOGNITION
问题:首先,在以往的
损失函数
中提到的“边际”是Softmax决策边界之间的边际,它不代表训练集中不同类别之间的真实的边际;其次,以往的
损失函数
对所有可能的类对组合施加了边界,这是不必要的。
蜡笔小祎在线学习
·
2023-12-23 15:24
深度学习
笔记
机器学习
计算机视觉
阅读笔记-GICOFACE: GLOBAL INFORMATION-BASED COSINE OPTIMAL LOSS FOR DEEP FACE RECOGNITION
问题:首先以往的
损失函数
或不应用权重和特征归一化,如对比损失、三重损失、中心损失、范围损失和边际损失;或者不明确遵循提高辨别能力的两个目标,如L-Softmax损失
蜡笔小祎在线学习
·
2023-12-23 15:23
深度学习
人工智能
深度学习
机器学习
阅读笔记-Minimum margin loss for deep face recognition
以往的
损失函数
不能解决类不平衡数据集存在的边际偏差问题,即所谓的长尾分布。
蜡笔小祎在线学习
·
2023-12-23 15:53
深度学习
机器学习
深度学习
人工智能
简单易用的轻量级生成对抗网络工具库:TFGAN
TFGAN是谷歌开源的一个轻量级生成对抗网络(GAN)工具库,它为开发者轻松训练GAN提供了基础条件,提供经过完整测试的
损失函数
和评估指标,同时提供易于使用的范例,这些范例展示了TFGAN的表达能力和灵活性
Daisy丶
·
2023-12-23 15:48
机器学习笔记(一)从波士顿房价预测开始,梯度下降
从波士顿房价开始目标其实这一章节比较简单,主要是概念,首先在波士顿房价这个问题中,我们假设了一组线性关系,也就是如图所示我们假定结果房价和这些参数之间有线性关系,即:然后我们假定这个函数的
损失函数
为均方差
Leventure_轩先生
·
2023-12-23 09:37
机器学习
笔记
python
交叉熵
数学公式推导(含熵和KL散度数学公式)
第一章熵物理学概念:一个系统的混乱程度,信息熵就是熵的另一种名称。nH(x)=−∑P(xi)log(P(xi)))(X=x1,x2,x3...,xn)i=1第二章KL散度(相对熵)nDKL(p∣∣q)=∑p(xi)log(q(xi)/p(xi))i=1n:表示随机变量可能的取值数x:表示随机变量P(x):表示随机变量x的概率函数nn特性:1.非对称性:∑p(xi)log(q(xi)/p(xi))不
New___dream
·
2023-12-23 06:29
深度学习
损失函数
算法
人工智能
笔记
深度学习
损失函数
(含公式和代码)
基础知识包含公式和代码均方误差
损失函数
(MeanSquaredError,MSE):适用于回归问题,计算预测值与真实值之间的平均平方误差。
New___dream
·
2023-12-23 06:28
深度学习
python
逻辑回归模型中特征是否需要归一化?
从反向过程来看:逻辑回归模型的参数优化一般采用了梯度下降法,如果不对特征进行归一化,可能会使得
损失函数
值得等高线呈椭球形,这样花费更多的迭代步数才能到达最优解。
不会念经的木鱼仔
·
2023-12-23 03:46
深度学习中的
损失函数
1
损失函数
概述大多数深度学习算法都会涉及某种形式的优化,所谓优化指的是改变以最小化或最大化某个函数的任务,我们通常以最小化指代大多数最优化问题。
智慧医疗探索者
·
2023-12-23 03:49
深度学习之pytorch
深度学习
人工智能
损失函数
线性回归(Linear Regression)算法 简介
Y=AX+B根据样本数据求出方程的最优解.
损失函数
损失函数
(代价函数):定义一个距离公式来计算线性回归的预测值和真实值之间的差异.
损失函数
就可以用来评价模型的预测值和真实值之间不一样的程度,
损失函数
值越小
草明
·
2023-12-23 03:59
数据结构与算法
算法
线性回归
机器学习
ai
L1、L2正则化的原理及适用场景
1.2公式表示添加了L1正则化的
损失函数
一般可表示为:1.3作用L1正则常被用来解决过拟合问题;L1正则化容易产生稀疏权值矩阵(更容易得到稀疏解),即产生一个稀疏模型(较多参数为0),因此也可用于特征选择
云从天上来
·
2023-12-23 02:22
机器学习细节研讨
算法
人工智能
一个小例子搞懂transformer中的label smoothing(标签平滑)
标签平滑其实就是将硬标签(hardlabel)转化为软标签(softlabel),也就是将标签的onehot编码中的1转化为比1稍小的数,将0转化为比0稍大的数,这样在计算
损失函数
时(比如
交叉熵
损失函数
前行的zhu
·
2023-12-23 02:51
Transformer
深度学习
自然语言处理(NLP)
算法
自然语言处理
深度学习
深度学习之正则化方法
在传统机器学习算法中,主要通过限制模型的复杂度来提高泛化能力,比如在
损失函数
中加入L1范数或者L2范数。
weixin_30369087
·
2023-12-23 02:21
人工智能
基于 Keras 和 Tensorflow 的标签平滑实现
首先附上原文地址:基于Keras和Tensorflow的标签平滑实现.标签平滑的原理解释请见这片博客:标签平滑的原理.目录2.标签平滑出现的意义和背景2.标签平滑以及其作用3.显式的类别标签平滑案例4.标签平滑对
损失函数
操作案例
FAQ_
·
2023-12-23 02:19
深度学习——关于adam优化器和
交叉熵
损失函数
介绍
在深度学习中,选择优化器和
损失函数
是非常重要的决策,因为它们直接影响模型的训练和性能。
没有竹蜻蜓的小叮当
·
2023-12-23 00:08
深度学习
人工智能
激活函数\梯度下降\
损失函数
一个痛心疾首的发现:这些知识不管学多少遍还是会忘记……为了加深印象,再再再再看一遍并记录下来。一、激活函数激活函数是每一层神经网络之后用的非线性函数,因为神经网络本身是线型的,利用激活函数可以使之实现非线性。激活函数主要有四个:sigmoid,tanh,RELU,LeakyRELU.还有一位博主将softmax也加了进来。也有一定的道理,因为这五个小兄弟都是将一个维的向量映射为另一个维的向量。接下
阮恒
·
2023-12-22 18:49
机器学习——
损失函数
1、简介
损失函数
(lossfunction)又称为误差函数(errorfunction),是衡量模型好坏的标准,用于估量模型的预测值与真实值的不一致程度,是一个非负实值函数。
风月雅颂
·
2023-12-22 18:38
机器学习-基于sklearn
机器学习
人工智能
scikit-learn
python
机器学习——分类评价指标
1、评价指标对于模型的评价往往会使用
损失函数
和评价指标,两者的本质是一致的。一般情况下,
损失函数
应用于训练过程,而评价指标应用于测试过程。
风月雅颂
·
2023-12-22 18:38
机器学习-基于sklearn
机器学习
分类
人工智能
python
ZERO-SHOT RESTORATION OF UNDEREXPOSED IMAGES VIA ROBUST RETINEX DECOMPOSITION 论文总结
目录一、论文主要内容二、RRDNet的工作流程三、
损失函数
1、Retinex重建损失2、纹理增强损失3、光照指导的噪声损失4、
损失函数
公式三、实验结果四、代码复现结果一、论文主要内容1、提出了RRDNet
yrhzmu
·
2023-12-22 09:18
低照度图像恢复
图像处理
损失函数
中正则化中的平方项的作用!!
正则化上的平方项前言在
损失函数
中添加正则化项时,通常会使用平方项作为正则化项,原因主要有以下几点:前言在
损失函数
中添加正则化项的原因主要是为了防止过拟合。
小桥流水---人工智能
·
2023-12-22 09:42
人工智能
机器学习算法
深度学习
机器学习
人工智能
python中的r2评分为负值_解决pytorch
交叉熵
损失输出为负数的问题
网络训练中,loss曲线非常奇怪
交叉熵
怎么会有负数。经过排查,
交叉熵
不是有个负对数吗,当网络输出的概率是0-1时,正数。可当网络输出大于1的数,就有可能变成负数。
weixin_39648492
·
2023-12-22 08:17
python中的r2评分为负值
联邦学习(pytorch)的损失值为负值解决办法
方法一:在定义的模型里把self.softmax=nn.Softmax(dim=1)改成self.softmax=nn.LogSoftmax(dim=1)在代码里如下:修改后的执行结果如下:方法二:因为
交叉熵
有个负对数
沉睡中的主角
·
2023-12-22 08:15
联邦学习
python3.6
pytorch
python
联邦学习
pytorch
逻辑回归
逻辑回归决策边界在逻辑回归(LogisticRegression)里,通常我们并不拟合样本分布,而是确定决策边界下面为各式各样的决策边界image线性决策边界imageimage非线性决策边界image2.3逻辑回归
损失函数
损失函数
与正则化依旧存在
iOSDevLog
·
2023-12-22 08:43
机器学习:手撕 cross-entropy
损失函数
1.前言cross-entropylossfunction是在机器学习中比较常见的一种
损失函数
。在不同的深度学习框架中,均有相关的实现。但实现的细节有很多区别。
三翼鸟数字化技术团队
·
2023-12-22 06:01
人工智能
机器学习
人工智能
算法
大创项目推荐 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别
前言1课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数:2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5
损失函数
laafeer
·
2023-12-21 21:51
python
模型训练出现 loss = nan
问题:模型不管怎么调参数,损失均为nan换了模型层,换了
损失函数
,还检查了loss的计算方式。还在其他地方验证了loss计算正确。
六和七
·
2023-12-21 21:37
ECG
机器学习
深度学习
人工智能
手写算法系列(Python实现)
总结前言锻炼自己实现算法的能力,提示:以下是本篇文章正文内容,下面案例可供参考一、K-MeansK-Means算法'''K-means算法是一种常用的无监督聚类算法,可以视作同时优化质心和每个样本的标签,使得
损失函数
最小
LotusQ
·
2023-12-21 17:51
面试之路
常见
损失函数
(Loss Function)
在线性回归中,
损失函数
(LossFunction)用于衡量模型的预测值与实际值之间的差异,是优化算法的目标。
草明
·
2023-12-21 15:31
算法
线性回归
机器学习
浅谈深度学习中的不同归一化层
正确的优化
损失函数
应该是什么?这些设计决策主要取决于我们试图解决的基本任务,并且需要更深入地了解我
Garry1248
·
2023-12-21 14:23
深度学习
人工智能
计算机视觉
cnn
机器学习--线性回归
目录监督学习算法线性回归
损失函数
梯度下降目标函数更新参数批量梯度下降随机梯度下降小批量梯度下降法数据预处理特征标准化正弦函数特征多项式特征的函数数据预处理步骤线性回归代码实现初始化步骤实现梯度下降优化模块损失与预测模块完整代码单变量线性回归实例加载数据并划分数据集训练线性回归模型得到
损失函数
图像测试阶段多特征回归实例非线性回归实例监督学习算法监督学习算法是一种通过学习输入数据和相应的标签之间的关系
llovew.
·
2023-12-21 12:45
机器学习
机器学习
线性回归
人工智能
python
回归
numpy
在国产GPU寒武纪MLU上快速上手Pytorch使用指南
文章目录前言CambriconPyTorch的Python包torch_mlu导入将模型加载到MLU上model.to('mlu')定义
损失函数
,然后将其拷贝至MLU将数据从CPU拷贝到MLU设备以mnist.py
小白白程序员
·
2023-12-21 08:00
pytorch
人工智能
python
gpu算力
Pytorch:backward()函数详解
.backward().backward()是PyTorch中用于自动求导的函数,它的主要作用是计算
损失函数
对模型参数的梯度,从而实现反向传播算法。
北方骑马的萝卜
·
2023-12-21 08:52
Pytorch系列
pytorch
人工智能
python
WGAN-GP解读分析
目录0.摘要1.基础知识1.1信息量1.2熵1.3相对熵1.4
交叉熵
1.5JS散度1.6其它相关概念2.WGAN理论分析2.1WGAN的改变2.2原始GAN中存在的问题2.2.3第一种生成器
损失函数
2.2.4
Annual Mercury
·
2023-12-21 01:34
概率论
机器学习
人工智能
大模型的魔法
在
损失函数
中,weightdecay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weightdecay的作用是调节模型复杂度对
损失函数
的影响,若weightdecay
YingJingh
·
2023-12-21 01:29
暑期课程Tinghua
人工智能
【机器学习】线性模型-线性支持向量机
一、常用二分类
损失函数
二、三种不同的正则化器(L2-正则化,L1-正则化和Lp-范数)的性质三、线性支持向量机原理L1正则化L1-lossSVC原问题L2正则化L2-lossSVC原问题L2正则化SVC
十年一梦实验室
·
2023-12-20 22:40
机器学习
支持向量机
人工智能
算法
数据挖掘
【Matlab算法】随机梯度下降法 (Stochastic Gradient Descent,SGD) (附MATLAB完整代码)
随机梯度下降法前言正文代码实现可运行代码结果前言随机梯度下降法(StochasticGradientDescent,SGD)是一种梯度下降法的变种,用于优化
损失函数
并更新模型参数。
Albert_Lsk
·
2023-12-20 21:02
MATLAB最优化算法
算法
matlab
人工智能
优化算法
数据结构
MNIST手写数字识别——simple model Y = XW + b
文章目录数据处理MINIST手写数字数据集简单介绍一下数据集将数据集转化为csv文件简单的手写数字识别模型加载数据集定义模型和超参数前向传播sigmoid激活函数softmax函数
交叉熵
损失函数
反向传播梯度下降法链式法则
涵涵不是憨憨~
·
2023-12-20 18:30
#
图像处理
python
深度学习
人工智能
【扩散模型Diffusion Model系列】0-从VAE开始(隐变量模型、KL散度、最大化似然与AIGC的关系)
文章目录VAE1生成式模型的目标——KL散度和最大化似然MLE2从AE到VAE3VAE的
损失函数
4结语1生成式模型的目标——KL散度和最
Leafing_
·
2023-12-20 08:46
Diffusion
Model扩散模型
深度学习
人工智能
AIGC
VAE
AI
深度学习
扩散模型
变分自编码器
算法
深度学习小白学习路线规划
了解机器学习和深度学习的基本概念,例如神经网络、
损失函数
、优化算法等。学习使用常见的深度学习框架,如TensorFlow或PyTorch。重要学习网站(免费)Python官方网站:h
阿利同学
·
2023-12-20 08:15
深度学习
学习
人工智能
小白学视觉
小白学深度学习
计算机视觉
学习路线
人工智能之数学(三) ------ 凸优化
一.机器学习中的优化问题
损失函数
:模型与实际数据匹配程度越好,
损失函数
就越小,如果相差较大,
损失函数
也会相对比较大正则化函数:模型很复杂,对于训练数据拟合性很好,但是对于未见过的数据拟合较差,因此可通过正则化的函数控制模型的复杂度
千喜Ya
·
2023-12-20 08:45
使用深度学习的微光图像和视频增强:综述
该领域的最新进展主要是基于深度学习的解决方案,其中采用了许多学习策略、网络结构、
损失函数
、训练数据等。在本文中,我们提供了一个全面的调查,涵盖了从算法分类到未解决的开放问题的各个方面。
mytzs123
·
2023-12-20 06:12
图像增强
深度学习
人工智能
Halcon深度学习相关术语介绍
在深度学习方法中,该算法可用于最小化
损失函数
。2anchor它们作为固定的参考边界框,借助这些参考框,网络为要目标的定位提出建议的边界框。
夏雪之晶莹
·
2023-12-20 03:33
《HALCON》学习笔记
深度学习
pytorch文本分类(三)模型框架(DNN&textCNN)
原任务链接目录pytorch文本分类(三)模型框架(DNN&textCNN)1.背景知识深度学习2.DNN2.1从感知器到神经网络2.2DNN的基本结构2.2.1前向传播算法激活函数2.2.2反向传播算法
损失函数
梯度下降优化器
大地之灯
·
2023-12-20 00:59
pytorch
学习
pytorch
分类
dnn
tensorflow入门 自定义层
前面讲了自定义
损失函数
,自定义正则化,自定义评价函数。现在来讲自定义层,其实都差不多,继承重要的组件就可以了。
歌者文明
·
2023-12-19 14:14
tensorflow
人工智能
python
Pytorch神经网络的参数管理
此时,我们的目标是找到使
损失函数
最小化的模型参数值。经过训练后,我们将需要使用这些参数来做出未来的预测。
奉系坤阀
·
2023-12-19 12:18
DeepLearning
神经网络
人工智能
深度学习
pytorch
算法
参数访问
参数初始化
论文阅读——Loss odyssey in medical image segmentation
Lossodysseyinmedicalimagesegmentationgithub:https://github.com/JunMa11/SegLossOdyssey这篇文章回顾了医学图像分割中的20种不同的
损失函数
じんじん
·
2023-12-19 11:17
论文
人工智能
[PyTorch][chapter 8][李宏毅深度学习][Back propagation]
目录:链式法则模型简介(Model)
损失函数
,梯度手写例子min-batch一链式法则链式法则是反向传播算法里面的核心。
明朝百晓生
·
2023-12-19 08:11
深度学习
pytorch
人工智能
YOLOv8最新改进系列:SAHI -专门针对小目标检测的推理-切片辅助超推理!小目标检测实战有效!上大分、遥遥领先了家人们!!!
截止到发稿时,B站YOLOv8最新改进系列的源码包,已更新了35种+
损失函数
的改进!自己排列组合2-4种后,不考虑位置已达8万种以上改进方法!考虑位置不同后可排列上百万种!!
AI棒棒牛
·
2023-12-19 04:21
YOLOv8改进
1024程序员节
YOLO
人工智能
目标检测
计算机视觉
深度学习
YOLOv8最新改进系列:YOLOv8华为提出Gold-YOLO,高效实时目标检测器,精度再提升,多目标、小目标无处遁形!
截止到发稿时,B站YOLOv8最新改进系列的源码包,已更新了33种+
损失函数
的改进!自
AI棒棒牛
·
2023-12-19 04:20
YOLOv8改进
YOLO
深度学习
人工智能
目标检测
YOLOv8最新改进系列:YOLOv8+BiFormer(CVPR 2023最新提出),基于动态稀疏注意力构建高效金字塔网络架构,用动态、查询感知的方式实现计算的有效分配,嘎嘎提升目标检测效果!
截止到发稿,B站YOLOv8最新改进系列的源码包已更新了24种+
损失函数
改进!自己排列组合2-4种后,不考虑位置已达上万种改进方法,考虑位置不同后可排列上百万种!
AI棒棒牛
·
2023-12-19 04:20
YOLOv8改进
YOLO
网络
架构
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他