SoftMax

回归（三）：Softmax回归

回归（三）Softmax回归二分类到多分类问题在Logistic回归中，我们处理的是二分类的问题。我们假定事件的对数几率满足线性模型，得到的概率函数满足sigmoid函数的形式。
阿圆的一亩三分地·2023-10-06 10:55

二项分布以及实现

importnumpyasnpimporttheanoimporttheano.tensorasTfromtheano.tensor.nnetimportconvfromtheano.tensor.nnetimportsoftmaxfromtheano
泰勒朗斯·2023-10-05 20:11

自适应Softmax(Adaptive Softmax)

AdaptiveSoftmax自适应Softmax原文：https://towardsdatascience.com/speed-up-your-deep-learning-language-model-up-to
manlier·2023-10-05 14:19

Transformer学习-self-attention

激活函数softmax可以用
王小燊oom·2023-10-03 18:19

精确度acc的计算

为了导入父目录的文件而进行的设定importnumpyasnpimportpicklefromdataset.mnistimportload_mnistfromcommon.functionsimportsigmoid,softmax
yalipf·2023-10-02 08:14

对负采样（negative sampling）的一些理解

负采样（negativesampling）通常用于解决在训练神经网络模型时计算softmax的分母过大、难以计算的问题。
重剑DS·2023-09-30 15:16

【李沐深度学习笔记】Softmax回归

课程地址和说明Softmax回归p1本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。
魔理沙偷走了BUG·2023-09-30 13:39

基于pytorch，已知卷积后的坐标，求卷积前的感受野范围

已知卷积后的坐标，求卷积前的感受野范围在之前的文章中已经说明了卷积前后的坐标关系：已知卷积后的坐标，求卷积前的感受野范围基于pytorch实现提取卷积操作后某一位置的感受野特征任务目的：在语义分割模型中，希望提取SoftMax
熊猫眼的vin·2023-09-29 21:31

目标检测算法改进系列之Backbone替换为EfficientViT

ViT的关键计算瓶颈是softmax注意力模块，其计算复杂度与输入分辨率成二次方。降低ViT的成本以将其部署在边缘设备上至关重要。
我悟了-·2023-09-28 19:29

Pytorch之VGG16图像分类

和订阅专栏哦目录一、VGG1.VGG网络结构（1）输入层（2）第一层卷积层（3）第二层卷积层（4）第三层卷积层（5）第四层卷积层（6）第五层卷积层（7）第一层全连接层（8）第二层全连接层（9）第三层全连接层（10）softmax
风间琉璃•·2023-09-27 19:22

TextCNN

在文本分类时，可以使用卷积层进行文本特征抽取，模型结构如图：首先利用卷积层和池化层，捕获序列特征，然后根据特征用softmax进行分类。这里面主要涉及到两个操作，卷积操作和池化操作。
612twilight·2023-09-27 16:56

激活函数总结（四十三）：激活函数补充(ScaledSoftSign、NormLinComb)

2.2NormLinComb激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU、PReLU、Swish、ELU、SELU、GELU、Softmax
sjx_alo·2023-09-27 05:34

激活函数总结（四十二）：激活函数补充(SSFG、Gumbel Cross Entropy)

2.2GumbelCrossEntropy激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU、PReLU、Swish、ELU、SELU、GELU、Softmax
sjx_alo·2023-09-27 05:04

激活函数总结（四十一）：激活函数补充(ShiLU、ReLUN)

激活函数2.2ReLUN激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU、PReLU、Swish、ELU、SELU、GELU、Softmax
sjx_alo·2023-09-27 05:03

激活函数总结（四十四）：激活函数补充(NLSIG、EvoNorms)

激活函数2.2EvoNorms激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU、PReLU、Swish、ELU、SELU、GELU、Softmax
sjx_alo·2023-09-27 05:33

#lilia的挣扎之旅#softmax小结

softmax注意指数变换去负数，突出特征归一化变为概率的近似利用常数不变防止溢出弄清每个维度代表的含义（样本/特征）axis=0/1计算的方向（=1是在横轴方向计算或查找）
白骨鱼石·2023-09-26 17:46

YOLOv3模型原理深度解析

（3）将损失函数从以前的Softmax修改为Logit，也就是对每个类别进
德彪稳坐倒骑驴·2023-09-26 13:55

一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数

文章目录一、熵和信息熵1.1概念1.2信息熵公式二、KL散度和交叉熵2.1KL散度(相对熵)2.2交叉熵三、Softmax和交叉熵损失函数3.1Softmax3.2交叉熵损失函数一、熵和信息熵1.1概念
冒冒菜菜·2023-09-26 10:47

softmax回归

名字叫回归，但是其实解决的是分类问题回归估计一个连续值分类预测一个离散类别指数的好处是无论是什么值，都能把他变成非负。
失业·2023-09-26 00:57

C++实现nms和softmax

最近在面试过程中遇到了手写nms的问题，结束后重新实现并调通了nms和softmax的代码。
qq_41920323·2023-09-25 19:47

[动手学深度学习-PyTorch版]-3.4深度学习基础-softmax回归

3.4softmax回归前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。
蒸饺与白茶·2023-09-25 02:32

ICLR2022《COSFORMER : RETHINKING SOFTMAX IN ATTENTION》

作为其核心组件之一，softmax注意力有助于捕获长程依赖关系，但由于序列长度的二次空间和时间复杂度，从而禁止其扩展。为了降低计算复杂度，
Love向日葵的兮兮子·2023-09-25 02:42

视觉Transformer中ReLU替代softmax，DeepMind新招让成本速降

注意力是transformer的一大核心组件，其中包含了一个softmax，作用是产生token的一个概率分布。
我爱计算机视觉·2023-09-25 02:11

视觉Transformer中ReLU替代softmax，DeepMind新招让成本速降

注意力是transformer的一大核心组件，其中包含了一个softmax，作用是产生token的一
计算机视觉研究院·2023-09-25 02:10

DeepMind: 用ReLU取代Softmax可以让Transformer更快

注意力是人类认知功能的重要组成部分，当面对海量的信息时，人类可以在关注一些信息的同时，忽略另一些信息。当计算机使用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，只选择一些关键的信息输入进行处理，来提高神经网络的效率。2017年，谷歌团队的Vaswani等人发表的《AttentionIsAllYouNeed》利用注意力机制，提出Transformer机器学习框架。到目前为止，该论文已经
weixin_4528312·2023-09-25 02:09

竞赛 基于深度学习的植物识别算法 - cnn opencv python

文章目录0前言1课题背景2具体实现3数据收集和处理3MobileNetV2网络4损失函数softmax交叉熵4.1softmax函数4.2交叉熵损失函数5优化器SGD6最后0前言优质竞赛项目系列，今天要分享的是
iuerfee·2023-09-23 14:38

AlexNet——ImageNet Classification with Deep Convolutional Neural Networks

1.摘要本文的模型采用了5层的卷积，一些层后面还紧跟着最大池化层，和3层的全连接，最后是一个1000维的softmax来进行分类。为了减少过拟合，在全连接层采取了dropout，实验结果证明非常有效。
seniusen·2023-09-23 13:28

竞赛选题 基于深度学习的植物识别算法 - cnn opencv python

文章目录0前言1课题背景2具体实现3数据收集和处理3MobileNetV2网络4损失函数softmax交叉熵4.1softmax函数4.2交叉熵损失函数5优化器SGD6最后0前言优质竞赛项目系列，今天要分享的是
laafeer·2023-09-23 10:03

softmax激活函数_深度学习中的激活函数，从softmax到sparsemax数学证明

softmax激活函数Theobjectiveofthispostisthree-fold.Thefirstpartdiscussesthemotivationbehindsparsemaxanditsrelationtosoftmax
weixin_26704853·2023-09-23 05:05

基于tensorflow的MNIST手写字识别（一）--白话卷积神经网络模型

一、卷积神经网络模型知识要点卷积卷积1、卷积2、池化3、全连接4、梯度下降法5、softmax本次就是用最简单的方法给大家讲解这些概念，因为具体的各种论文网上都有，连推导都有，所以本文主要就是给大家做个铺垫
GarfieldEr007·2023-09-22 15:30

深度学习修炼（三）卷积操作 | 边界填充、跨步、多输入输出通道、汇聚池化

卷积层设计之前我们讲了线性分类器深度学习修炼（一）线性分类器|权值理解、支撑向量机损失、梯度下降算法通俗理解_Qodi的博客-CSDN博客又讲了基于线性分类器的全连接神经网络深度学习修炼（二）全连接神经网络|Softmax
Qodi·2023-09-22 00:13

python毕业设计 深度学习昆虫识别系统 -图像识别 opencv

课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5损失函数softmax
kooerr·2023-09-21 20:20

大数据毕设项目 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5损失函数softmax
caxiou·2023-09-21 20:50

【毕设选题】深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5损失函数softmax
caxiou·2023-09-21 20:50

【毕业设计】深度学习昆虫识别系统 - 图像识别 opencv python

课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5损失函数softmax
caxiou·2023-09-21 20:19

计算机竞赛 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5损失函数softmax
Mr.D学长·2023-09-21 20:46

深度学习修炼（二）全连接神经网络 | Softmax，交叉熵损失函数 优化AdaGrad，RMSProp等 对抗过拟合 全攻略

文章目录1多层感知机（全连接神经网络）1.1表示1.2基本概念1.3必要组成—激活函数1.4网络结构设计2损失函数2.1SOFTMAX操作2.2交叉熵损失函数3优化3.1求导计算过于复杂？
Qodi·2023-09-21 16:26

深度学习——线性神经网络二

深度学习——线性神经网络二文章目录前言一、softmax回归1.1.分类问题1.2.网络架构1.3.全连接层的参数开销1.4.softmax运算1.5.小批量样本的向量化1.6.损失函数1.6.1.对数似然
星石传说·2023-09-21 08:28

模型优化技术 —— 知识蒸馏

【经典简读】知识蒸馏(KnowledgeDistillation)经典之作神经网络中的蒸馏技术，从Softmax开始说起
dataloading·2023-09-20 22:39

flash attention的CUDA编程和二维线程块实现softmax

FlashAttention:FastandMemory-EfficientExactAttentionwithIO-Awareness，具体的数学公式参考下面这个图片：其中注意关于矩阵S有两个维度，softmax
Galerkin码农选手·2023-09-20 20:57

expand，where和softmax算子的cuda编程

expand和where介绍当谈到Torch中的expand函数时，我们实际上是指PyTorch（Torch的Python接口）中的expand方法。下面是对expand方法和where函数的介绍，包括它们的输入和输出：expand方法：torch.Tensor.expand()是PyTorch中Tensor类的一个方法，用于扩展张量的维度。输入：input是要扩展的张量，size是一个元组，指定
Galerkin码农选手·2023-09-20 20:57

softmax的cuda编程详细解读——算子融合

softmax介绍在上一篇博客我们介绍了softmax的内容以及相关的编程实现，总结一下softmax的特点如下：（没有特殊说明的情况下，考虑的仍然只是1D向量xxx）1：获得向量的全局最大值M2：针对向量
Galerkin码农选手·2023-09-20 20:57

计算机视觉与深度学习-全连接神经网络-激活函数- [北邮鲁鹏]

激活函数vs数据预处理常用的激活函数Sigmoid函数（Logistic函数）双曲正切函数（Tanh函数）线性整流函数（ReLU函数）LeakyReLU函数Softmax函数基础知识激活函数是神经网络中的一种非线性函数
古董a·2023-09-20 18:06

XLNet: Generalized Autoregressive Pretraining for Language Understanding

预测替换的词原来是什么词时，把位置对应的最终输出输入到一个softmax层（softmax层为词汇表大小）。虽然
直接往二·2023-09-20 04:31

手刻 Deep Learning -第壹章 -PyTorch教学-激励函数与感知机入门（上）

为什么会有用，还有通过示例来探讨/实作（本文介绍常用的ReLU，Tanh，Sigmoid，Softmax）阅读本文需要有矩阵计算的知识，还有知道线性回归的原理另外我们也使用Pytorch本文希望透过生活中的范例
无水先生·2023-09-20 01:08

激活函数总结（三十八）：激活函数补充(PDELU、CosLU)

激活函数2.2CosLU激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU、PReLU、Swish、ELU、SELU、GELU、Softmax
sjx_alo·2023-09-19 16:54

激活函数总结（三十七）：激活函数补充(PAU、DELU)

2.1Padé激活函数2.2DELU激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU、PReLU、Swish、ELU、SELU、GELU、Softmax
sjx_alo·2023-09-19 16:53

激活函数总结（三十六）：激活函数补充(ARiA、m-arcsinh)

2.2modifiedarcsinh激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU、PReLU、Swish、ELU、SELU、GELU、Softmax
sjx_alo·2023-09-19 16:23

激活函数总结（三十五）：激活函数补充(KAF、Siren)

激活函数2.2Siren激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU、PReLU、Swish、ELU、SELU、GELU、Softmax
sjx_alo·2023-09-19 16:53

keras 或者tensorflow损失函数

和引擎盖下的tf.nn.sigmoid_cross_entropy_with_logits）用于二进制多标签分类（标签是独立的）.categorical_crossentropy（和引擎盖下的tf.nn.softmax_cross_entropy_with_logits
weixin_42612033·2023-09-19 06:49
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他