sigmoid 第10页

机器学习算法----原理总结

目录一、线性回归1、正向拟合函数：2、如何衡量损失：3、优化策略：二、逻辑回归1正向拟合函数1.1线性函数生成1.2Sigmoid激活函数2、如何衡量损失3、优化策略三、决策树引言1.ID3算法1.1前向输出

温旧酒一壶~·2023-09-08 05:29

无框架的底层代码实现普通RNN、LSTM的正反向传播过程及应用

准备首先导入所需要的包rnn_utils.py:importnumpyasnpdefsoftmax(x):e_x=np.exp(x-np.max(x))returne_x/e_x.sum(axis=0)defsigmoid

诶尔法Alpha·2023-09-07 16:52

激活函数总结（二十六）：激活函数补充(Probit、Smish)

激活函数总结（二十六）：激活函数补充1引言2激活函数2.1Probit激活函数2.2Smish激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU

sjx_alo·2023-09-07 09:59

激活函数总结（二十七）：激活函数补充(Multiquadratic、InvMultiquadratic)

激活函数总结（二十七）：激活函数补充1引言2激活函数2.1Multiquadratic激活函数2.2InvMultiquadratic激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-09-07 09:59

激活函数总结（二十九）：激活函数补充(CoLU、ShiftedSoftPlus)

：激活函数补充1引言2激活函数2.1CollapsingLinearUnit(CoLU)激活函数2.2ShiftedSoftPlus激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-09-07 09:59

激活函数总结（二十八）：激活函数补充(PSmish、ESwish)

激活函数总结（二十八）：激活函数补充1引言2激活函数2.1ParametricSmish(PSmish)激活函数2.2ESwish激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-09-07 09:27

X.3 Go语言使用Gonum包辅助科学计算 -- 在图表中增加sigmoid函数的曲线

一张图表中也可以同时绘制多条折线，下面我们就在前面图表的基础上多增加一条表达数学函数y=sigmoid(x)的折线。

陆满庭·2023-09-07 06:19

机器学习：基于梯度下降算法的逻辑回归实现和原理解析

Sigmoid函数逻辑回归损失函数梯度下降逻辑回归定义逻辑函数线性组合模型训练决策边界了解逻辑回归：从原理到实现什么是逻辑回归？

是一个Bug·2023-09-07 06:14

sigmoid和softmax函数详解

id=1636737136973859154&wfr=spider&for=pc在一个最近的一个项目中,发现自己对sigmoid函数和softmax函数的概念和用法比较模糊,特地做一下总结假设一张图片丢进一个神经网络

blacksmith_wu·2023-09-05 00:38

逻辑回归Logistic

最后结果用sigmoid函数输出因此，为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数（如下公式所示），然后把所有结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在

accosmos·2023-09-04 17:54

李沐-动手学深度学习（4）数值稳定性、模型初始化、激活函数

（使每一层的输出和每一层的梯度都是一个均值为0，方差为一个固定数的随机变量）（权重初始用Xavier，激活函数用tanh、relu或变化的sigmoid）一、数值稳定性t在这里表示层。

minlover·2023-09-04 13:48

类ChatGPT大模型LLaMA及其微调模型

【GLU激活函数】GLU(x)=x与sigmoid(g(x))对

抓个马尾女孩·2023-09-04 08:12

逻辑回归算法学习笔记

与线性回归不同，逻辑回归使用的是逻辑函数（sigmoid函数）将线性输出转换为概率值，并根据概率进行分类。在本学习笔记中，我们将深入了解逻辑回归算法，并通过代码示例来说明其实现过程。

小布先生~噫嘘唏·2023-09-03 13:38

【目标检测】理论篇（3）YOLOv5实现

Yolov5网络构架实现importtorchimporttorch.nnasnnclassSiLU(nn.Module):@staticmethoddefforward(x):returnx*torch.sigmoid

TechMasterPlus·2023-09-03 05:26

SENet代码及解释（pytorch）

1.SEblock搭建全局平均池化+1*1卷积核+ReLu+1*1卷积核+Sigmoidimporttorch.nnasnn#全局平均池化+1*1卷积核+ReLu+1*1卷积核+SigmoidclassSE_Block

玲娜贝儿--努力学习买大鸡腿版·2023-09-02 20:05

《Batch Normalization》阅读笔记

为什么要用Normalization，文中提到，考虑一个经过sigmoid函数的网络层：,其中。当增大时，趋向于0.这会使得对参数的求导也趋向于0，使得训练速度变慢。

卢晨耀·2023-09-02 03:18

深度学习 - 一问一答

Sigmoid激活函数为什么会出现梯度消失

aaa小菜鸡·2023-08-31 14:07

RNN中的门控循环结构---lSTM和GRU

一：门控循环神经网络简介门控循环神经网络是在经典RNN基础之上调整而出的网络结构，通过加入门控机制（非线性激活函数，通常是sigmoid），用来控制神经网络中的信息传递。

【敛芳尊】·2023-08-29 13:04

算法工程师面试常见代码题汇总

主要参考：《深度学习入门：基于python的理论和实现》文章目录激活函数sigmoidrelusoftmaxbettersoftmax损失函数meansquarederrorcrossentropyerrordetailedcrossentropyerror

江米江米·2023-08-29 09:51

Logistic回归

logistic分布：（1）概率分布函数F(x)和概率密度函数f(x)如下：F(x)=P(X<=x)=f(x)=（2）logistic分布的图：QQ20180913-0.JPG可以看出来F(x)的概率分布（右图）和sigmoid

摩卡坐标·2023-08-29 05:59

2019-03-18机器学习——梯度消失和爆炸

反向传播的迭代公式为其中f是激活函数，常用sigmoid激活函数求导为导数值域都小于1，误差经过每一层传递都会减小，层数很深的时候，梯度就会不停衰减，甚至消失，使网络很难训练，这就是梯度消失问题。

hhhhlyy·2023-08-29 05:56

统计学补充概念-13-逻辑回归

逻辑回归的基本思想是，通过一个线性组合的方式将输入特征与权重相乘，然后通过一个称为“逻辑函数”或“Sigmoid函数”的激活函数将结果映射到一个0到1之间的概率值。这个概率值可以被

丰。。·2023-08-29 03:02

飞桨中的李宏毅课程中的第一个项目——PM2.5的预测

所谓的激活函数，就是李宏毅老师讲到的sigmoid函数和hardsigmoid函数，ReLU函数那些现在一点点慢慢探索，会成为日后想都做不到的经历，当你啥也不会的时候，才是慢慢享受探索的过程。

诚威_lol_中大努力中·2023-08-29 02:53

前向传播与反向传播涉及到的知识点

）复杂度空间复杂度时间复杂度二、学习率三、指数衰减学习率——解决lr的选择1.总结经验2.公式引入四、激活函数1.简单模型：最初的理解2.激活函数MP模型3.优秀的激活函数的特点4.常见的激活函数a）Sigmoid

孤狼灬笑·2023-08-28 12:48

5. 线性层及其他层

5.1神经网络结构5.2线性拉平importtorchimporttorchvisionfromtorchimportnnfromtorch.nnimportReLUfromtorch.nnimportSigmoidfromtorch.utils.dataimportDataLoaderfromtorch.utils.tensorboardimportSummaryWriterdataset

Gosling123456·2023-08-28 07:47

基础神经网络“组件”----激励函数

深度学习常见激励函数总结参考文献：https://blog.csdn.net/xierhacker/article/details/71524713sigmoid优点：简单,良好的非线性映射,但是也有致命的问题

采香行处蹙连钱·2023-08-27 01:11

激活函数总结（十九）：激活函数补充(ISRU、ISRLU)

2.1InverseSquareRootUnit（ISRU）激活函数2.2InverseSquareRootLinearUnit(ISRLU)激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-08-26 13:11

回归算法学习笔记——线性回归、随机梯度（SGD、BGD）、逻辑回归（牛顿法）、Softmax回归算法、L1/L2正则化、Ridge、Lasso、ElasticNet

目录线性回归梯度下降算法构建损失函数梯度下降法LogisticRegression算法sigmoid函数构造目标函数构造损失函数-极大似然估计梯度下降多分类问题优化算法：牛顿法切线法另一种理解方式改进：

XuZhiyu_·2023-08-26 11:45

机器学习损失函数 / 激活函数 / 优化算法总览

关键词交叉熵，KL散度（相对熵），NLLloss（负对数似然损失），BCELoss，Contrastiveloss，tripletloss，n-pairloss，focallosssigmoid，tanh

noobiee·2023-08-26 11:41

深度学习：Sigmoid函数与Sigmoid层区别

深度学习：Sigmoid函数与Sigmoid层1.Sigmoid神经网络层vs.Sigmoid激活函数在深度学习和神经网络中，“Sigmoid”是一个常见的术语，通常用来表示两个相关但不同的概念：Sigmoid

一支绝命钩·2023-08-26 09:22

深度学习基础

1.1标量和向量1.2向量运算1.3矩阵1.4张量1.5导数2.numpy常用操作3.梯度下降算法4.反向传播4.1完整的反向传播过程4.2代码演示5.网络结构--全连接层6.激活函数6.1激活函数-Sigmoid6.2

@kc++·2023-08-23 20:10

激活函数总结（十七）：激活函数补充(PELU、Phish)

激活函数补充1引言2激活函数2.1ParametricExponentialLinearUnit（PELU）激活函数2.2Phish激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-08-23 17:24

激活函数总结（十五）：振荡系列激活函数补充(SQU、NCU、DSU、SSU)

2.2Non-MonotonicCubicUnit(NCU)激活函数2.3DecayingSineUnit(DSU)激活函数2.4ShiftedSincUnit(SSU)激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-08-23 17:23

激活函数总结（十四）：激活函数补充(Gaussian 、GCU、ASU)

2.1Gaussian激活函数2.2GrowingCosineUnit(GCU)激活函数2.3AmplifyingSineUnit(ASU)激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-08-23 17:53

激活函数总结（十六）：激活函数补充(SReLU、BReLU)

2.1S-shapedRectifiedLinearActivationUnit（SReLU）激活函数2.2BipolarRectifiedLinearUnit(BReLU)激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-08-23 17:51

深度学习3：激活函数

二、激活函数的种类1.Sigmoid函数它能够把输入的连续实值变换为0和1之间的输出，特别的，如果是非常大的

学术菜鸟小晨·2023-08-23 07:19

Lnton羚通云算力平台【PyTorch】教程：torch.nn.SiLU

torch.nn.SiLU原型CLASStorch.nn.SiLU(inplace=False)torch.nn.SiLU是PyTorch深度学习框架中的一个激活函数，它代表Sigmoid-WeightedLinearUnit

LNTON羚通科技·2023-08-22 13:31

神经网络基础-神经网络补充概念-26-前向和反向传播

激活函数：将加权求和的结果输入激活函数（如Sigmoid、ReLU等），得到神经元的输出。传

丰。。·2023-08-21 09:40

【Pytorch】多标签分类，分类指标计算，按阈值，或者概率最大的前top个标签【sigmoid + BCELoss】

from：https://github.com/Sun-DongYang/Pytorch/blob/master/multiLabel/multiLabel.py多标签计算准确率的方式：按阈值，或者概率最大的前top个标签#计算准确率——方式1#设定一个阈值，当预测的概率值大于这个阈值，则认为这幅图像中含有这类标签defcalculate_acuracy_mode_one(model_pred,l

联系丝信·2023-08-21 08:39

深度学习之python实现RNN

#用python实现RNN#用RNN学习二进制加法：1.学习当前位的加法；2.学习关于前一位的进位importcopy,numpyasnpnp.random.seed(0)defsigmoid(inX)

你要好好学习呀·2023-08-20 19:54

pytorch tensor 初始化_Pytorch - nn.init 参数初始化方法

Pytorch的参数初始化-给定非线性函数的推荐增益值(gainvalue)：nonlinearity非线性函数gain增益Linear/Identity1Conv{1,2,3}D1Sigmoid1Tanh

李無鋒·2023-08-20 13:55

激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)

激活函数总结（十三）：Tanh系列激活函数补充1引言2激活函数2.1LeCunTanh激活函数2.2TanhExp激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh

sjx_alo·2023-08-20 00:06

常用激活函数及其优缺点的总结与比较

文章目录1、sigmoid2、Tanh3、ReLU4、LeakyReLU5、Softmax1、sigmoid优点：将很大范围内的输入特征值压缩到0~1之间，适用于将预测概率作为输出的模型；缺点：1）当输入非常大或非常小的时候

masterleoo·2023-08-19 14:29

梯度爆炸和梯度消失的原因以及解决方法

文章目录1、原因：2、解决方法1、原因：梯度消失和梯度爆炸的根本原因是因为在反向传播过程中，使用链式法则计算时，累积相乘效应导致梯度过大或者过小主要原因有：1）激活函数：例如sigmoid或者tanh激活函数

masterleoo·2023-08-19 14:58

卷积神经网络全解！CNN结构、训练与优化全维度介绍！

卷积操作卷积核与特征映射卷积核大小多通道卷积步长与填充步长填充空洞卷积（DilatedConvolution）分组卷积（GroupedConvolution）2.2激活函数ReLU激活函数优势与劣势LeakyReLUSigmoid

TechLead KrisChang·2023-08-19 09:39

激活函数总结（十一）：激活函数补充(Absolute、Bipolar、Bipolar Sigmoid)

激活函数总结（十一）：激活函数补充1引言2激活函数2.1Absolute激活函数2.2Bipolar激活函数2.3BipolarSigmoid激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数

sjx_alo·2023-08-18 16:45

激活函数总结（十）：激活函数补充(Identity、LogSigmoid、Bent Identity)

激活函数总结（十）：激活函数补充1引言2激活函数2.1Identity激活函数2.2LogSigmoid激活函数2.3BentIdentity激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数

sjx_alo·2023-08-18 16:45

激活函数总结（九）：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)

Softmax系列激活函数补充1引言2激活函数2.1Softmin激活函数2.2Softmax2d激活函数2.3Logsoftmax激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-08-18 16:15

激活函数总结（十二）：三角系列激活函数补充(Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh)

激活函数总结（十二）：三角系列激活函数补充1引言2激活函数2.1Sinusoid激活函数2.2Cosine激活函数2.3Arc系列激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid

sjx_alo·2023-08-18 16:14

基于机器学习softmax回归训练多分类的深度神经网络结构模型

分类问题机器学习在监督学习领域主要解决两个问题，其中一个问题是分类问题，分类问题分为二分类问题还有多分类问题，而二分类问题相对来说很好解决，我们只需要构建输出层有一个神经元的神经网络，然后结合sigmoid

幻风_huanfeng·2023-08-18 12:15

推荐频道

sigmoid

机器学习算法----原理总结

无框架的底层代码实现普通RNN、LSTM的正反向传播过程及应用

激活函数总结（二十六）：激活函数补充(Probit、Smish)

激活函数总结（二十七）：激活函数补充(Multiquadratic、InvMultiquadratic)

激活函数总结（二十九）：激活函数补充(CoLU、ShiftedSoftPlus)

激活函数总结（二十八）：激活函数补充(PSmish、ESwish)

X.3 Go语言使用Gonum包辅助科学计算 -- 在图表中增加sigmoid函数的曲线

机器学习：基于梯度下降算法的逻辑回归实现和原理解析

sigmoid和softmax函数详解

逻辑回归Logistic

李沐-动手学深度学习（4）数值稳定性、模型初始化、激活函数

类ChatGPT大模型LLaMA及其微调模型

逻辑回归算法学习笔记

【目标检测】理论篇（3）YOLOv5实现

SENet代码及解释（pytorch）

《Batch Normalization》阅读笔记

深度学习 - 一问一答

RNN中的门控循环结构---lSTM和GRU

算法工程师面试常见代码题汇总

Logistic回归

2019-03-18机器学习——梯度消失和爆炸

统计学补充概念-13-逻辑回归

飞桨中的李宏毅课程中的第一个项目——PM2.5的预测

前向传播与反向传播涉及到的知识点

5. 线性层及其他层

基础神经网络“组件”----激励函数

激活函数总结（十九）：激活函数补充(ISRU、ISRLU)

回归算法学习笔记——线性回归、随机梯度（SGD、BGD）、逻辑回归（牛顿法）、Softmax回归算法、L1/L2正则化、Ridge、Lasso、ElasticNet

机器学习损失函数 / 激活函数 / 优化算法 总览

深度学习：Sigmoid函数与Sigmoid层区别

深度学习基础

激活函数总结（十七）：激活函数补充(PELU、Phish)

激活函数总结（十五）：振荡系列激活函数补充(SQU、NCU、DSU、SSU)

激活函数总结（十四）：激活函数补充(Gaussian 、GCU、ASU)

激活函数总结（十六）：激活函数补充(SReLU、BReLU)

深度学习3：激活函数

Lnton羚通云算力平台【PyTorch】教程：torch.nn.SiLU

神经网络基础-神经网络补充概念-26-前向和反向传播

【Pytorch】多标签分类，分类指标计算，按阈值，或者概率最大的前top个标签【sigmoid + BCELoss】

深度学习之python实现RNN

pytorch tensor 初始化_Pytorch - nn.init 参数初始化方法

激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)

常用激活函数及其优缺点的总结与比较

梯度爆炸和梯度消失的原因以及解决方法

卷积神经网络全解！CNN结构、训练与优化全维度介绍！

激活函数总结（十一）：激活函数补充(Absolute、Bipolar、Bipolar Sigmoid)

激活函数总结（十）：激活函数补充(Identity、LogSigmoid、Bent Identity)

激活函数总结（九）：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)

激活函数总结（十二）：三角系列激活函数补充(Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh)

基于机器学习softmax回归训练多分类的深度神经网络结构模型

机器学习损失函数 / 激活函数 / 优化算法总览