SoftMax

《动手学深度学习(PyTorch版)》笔记3.4

Chapter3LinearNeuralNetworks3.4SoftmaxRegression3.4.1ClassificationProblems一般的分类问题并不与类别之间的自然顺序有关，统计学家发明了一种表示分类数据的简单方法
南七澄江·2024-01-26 09:42

Tensorflow & Keras的loss函数总结

二分类与多分类交叉熵损失函数的理解交叉熵是分类任务中的常用损失函数，在不同的分类任务情况下，交叉熵形式上有很大的差别，二分类任务交叉熵损失函数：多分类任务交叉熵损失函数：这两个交叉熵损失函数对应神经网络不同的最后一层输出，二分类对应sigmoid，多分类对应softmax
牧世·2024-01-25 18:49

李沐《动手学深度学习》卷积神经网络 相关基础概念

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归李沐《动手学深度学习》线性神经网络softmax回归李沐《
丁希希哇·2024-01-25 13:21

李沐《动手学深度学习》深度学习计算

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归李沐《动手学深度学习》线性神经网络softmax回归李沐《
丁希希哇·2024-01-25 13:47

大模型用model.generate 直接产生文本的id以及获得模型生成文本概率的方法

logits是模型在softmax层之前的输出，表示模型对每个可能的下一个token的置信度。通过对这些logits应用softmax函数，可以得到概率分布。使用log
samoyan·2024-01-24 23:55

Python Numpy小编程

returnnp.sum((Y_pred-Y)**2)/len(Y)Y_pred=np.array([0,0,1])Y=np.array([0.1,0.1,0.8])mse(Y_pred,Y)2）计算softmax
weixin_47389497·2024-01-24 08:21

李沐-《动手学深度学习》--03-注意力机制

注意力机制1.注意力提示1）框架**随意：**跟随自己的想法的，自主的想法，例如query**不随意：**没有任何偏向的选择，例如Keys如何得到kvq2）Nadaraya-Watson核回归就是一个softmax
叮咚Zz·2024-01-23 20:51

如何用 500 行 SQL 实现 GPT2学习

BlocksTokens为什么要使用softmax转换概率？Inference俄罗斯有个大佬每年都会用SQL来实现一个挑战庆祝新年，已经坚持了10多年了。
jialun0116·2024-01-23 17:36

YOLOv8改进 | Conv篇 | 2024.1月最新成果可变形卷积DCNv4（适用检测、Seg、分类、Pose、OBB）

它主要通过两个方面对前一版本DCNv3进行改进：首先，它移除了空间聚合中的softmax归一化，这样做增强了其动态特性和表达能力；其次，它优化了内存访问过程，以减少冗余操作，
Snu77·2024-01-23 07:33

Attention-based End-to-End Models for Small-Footprint Keyword Spotting基于注意的小脚印关键字点对点模型

最后，通过线性变换和softmax函数，向量成为用于关键字检测的得分。我们还评估了不同编码器架构（包括LSTM，G
图灵与对话·2024-01-22 20:50

softmax回归

softmax回归我们从一个图像分类问题开始。假设每次输入是一个2×2的灰度图像。我们可以用一个标量表示每个像素值，每个图像对应四个特征x1,x2,x3,x4。
良子c·2024-01-21 22:50

XGBoost系列3——XGBoost在多分类问题中的应用

1.4多分类问题的应用场景2.XGBoost中的多分类支持2.1分类原理2.2Softmax损失函数2.3One-vs-All与One-vs-One2.4多分类性能优势2.5超参数调优2.6特征重要性分析
theskylife·2024-01-21 15:50

softmax回实战

1.数据集MNIST数据集(LeCunetal.,1998)是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。我们将使用类似但更复杂的Fashion-MNIST数据集(Xiaoetal.,2017)。importtorchimporttorchvisionfromtorch.utilsimportdatafromtorchvisionimporttransformsfromd2limpo
良子c·2024-01-21 08:40

李沐《动手学深度学习》多层感知机 深度学习相关概念

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归李沐《动手学深度学习》线性神经网络softmax回归李沐《
丁希希哇·2024-01-21 04:16

李沐《动手学深度学习》多层感知机 模型概念和代码实现

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归李沐《动手学深度学习》线性神经网络softmax回归目录系列文章一
丁希希哇·2024-01-21 04:46

NNL（negative log loss） 和 cross entropy loss的区别

而在多分类（multi-class）任务中，预测分布式模型经过softmax函数后的输出vector，而真实分布则是每个输出目标类（groundtruth）的
大猫子·2024-01-20 22:47

【知识---深度学习中的Softmax说明及使用】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言Softmax代码总结前言深度学习中常用到一个Softmax函数，它究竟是个什么东西了，我们来学习一下！！！
fyc300·2024-01-19 14:24

李沐《动手学深度学习》线性神经网络 softmax回归

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归目录系列文章一、softmax回归（一）问题背景（二）网络架构
丁希希哇·2024-01-19 08:36

一个简单的KNN实现方法

对于许多离散问题，经过神经网络解决再通过softmax之后每一个值在[0,1]之间的连续变量，想要将其离散化，即离散化到每个元素都是binary-variable，即0-1，这时可以用KNN方法，其实就是找到与这个向量的方差最小的
远离科研，保命要紧·2024-01-19 08:03

神经网络激活函数--Sigmoid、Tanh、Relu、Softmax

本文主要总结了Sigmoid、Tanh、Relu、Softmax四种函数；给出了函数的形式，优缺点和图像。sigmoid和Tanh函数的导数简单，但是可能出现梯度弥散。
远离科研，保命要紧·2024-01-19 08:27

YOLOv8全网首发：DCNv4更快收敛、更高速度、更高性能，效果秒杀DCNv3、DCNv2等 ，助力检测

本文独家改进：DCNv4更快收敛、更高速度、更高性能，完美和YOLOv8结合，助力涨点DCNv4优势：(1)去除空间聚合中的softmax归一化，以增强其动态性和表达能力；(2)优化存储器访问以最小化冗余操作以加速
AI小怪兽·2024-01-19 05:34

YOLOv5全网独家首发：DCNv4更快收敛、更高速度、更高性能，效果秒杀DCNv3、DCNv2等 ，助力检测实现暴力涨点

本文独家改进：DCNv4更快收敛、更高速度、更高性能，完美和YOLOv5结合，助力涨点DCNv4优势：(1)去除空间聚合中的softmax归一化，以增强其动态性和表达能力；(2)优化存储器访问以最小化冗余操作以加速
AI小怪兽·2024-01-19 02:46

神经网络（二）：Softmax函数与多元逻辑回归

一、Softmax函数与多元逻辑回归为了之后更深入地讨论神经网络，本节将介绍在这个领域里很重要的softmax函数，它常被用来定义神经网络的损失函数（针对分类问题）。
城市中迷途小书童·2024-01-18 20:08

用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer

为什么在进行softmax之前需要对attent
深度学习算法与自然语言处理·2024-01-18 15:55

大语言模型系列-word2vec

文章目录前言一、word2vec的网络结构和流程1.Skip-Gram模型2.CBOW模型二、word2vec的训练机制1.Hierarchicalsoftmax2.NegativeSampling总结前言在前文大语言模型系列
学海一叶·2024-01-18 08:39

YoloV8改进策略：Agent Attention|Softmax与线性注意力的融合研究|有效涨点|代码注释与改进|全网首发（唯一）

摘要涨点效果：在我自己的数据集上，mAP50由0.986涨到了0.991，mAP50-95由0.737涨到0.753，涨点明显！本文提出了一种新型的注意力机制——AgentAttention，旨在平衡计算效率和表示能力。该机制在传统的注意力模块中引入了额外的agenttokensA，这些agenttokens首先为querytokensQ聚合信息，然后将其广播回Q。由于agenttokens的数量
静静AI学堂·2024-01-18 06:32

为什么在进行softmax之前需要对attention进行scaled（为什么除以 d_k的平方根）

解释的好：Self-attention中dot-product操作为什么要被缩放-知乎标准正太分布（0均值，1方差的高斯分布）解释1：解释2：这样做是因为对于较大的深度值，点积的大小会增大，从而推动softmax
ytusdc·2024-01-18 04:52

Udacity.深度学习.从机器学习到深度学习.2017-11-07

1.练习-softmax模型测试样例scores=[1.0,2.0,3.0]printsoftmax(scores)[0.090030570.244728470.66524096]scores=np.array
小异_Summer·2024-01-17 13:10

Faster R-CNN

当生成候选区域后进行的仍然和FastR-CNN一样的操作（Rolpooling->FC->softmax&边界框预测）。
DQ小恐龙·2024-01-16 23:39

LeNet-5（用于手写体字符识别）

结构：输入的二维图像，先经过两次卷积层到池化层，再经过全连接层，最后使用softmax分类作为输出层每层有多个FeatureMap（每个FeatureMap有多个神经元）FeatureMap通过一种卷积滤波器提取输入的一种特征各层参数详解
okimaru·2024-01-15 10:27

Softmax回归（多类分类模型）

目录1.对真实值类别编码：2.预测值：3.目标函数要求：4.使用Softmax模型将输出置信度Oi计算转换为输出匹配概率y^i：5.使用交叉熵作为损失函数：6.代码实现：1.对真实值类别编码：y为真实值
姓蔡小朋友·2024-01-15 08:39

组队学习《动手学深度学习》Task01学习笔记

Task01包含了线性回归模型，softmax模型，多层感知机，文本预处理，语言模型，循环神经网络这几块内容这里主要记录一些零碎的笔记，主要是关于理论1、线性回归模型就是使用了一个线性函数去拟合样本，得到预测值
612twilight·2024-01-14 23:46

Agent Attention：以一种优雅的方式来结合线性注意力和softmax注意力

论文链接：https://arxiv.org/abs/2312.08874代码地址：https://github.com/LeapLabTHU/Agent-Attention1.简介    近年来，视觉Transformer模型得到了极大的发展，相关工作在分类、分割、检测等视觉任务上都取得了很好的效果。然而，将Transformer模型应用于视觉领域并不是一件简单的事情。与自然语言不同，视觉图片中
liiiiiiiiiiiiike·2024-01-14 10:08

深度学习入门之2--神经网络

目录1神经网络初解2激活函数及实现2.1初识激活函数2.1激活函数类型及实现2.1.1阶跃函数及实现2.1.2sigmoid函数及实现2.1.3Relu函数及实现2.1.4恒等函数和softmax函数及实现
梦灯·2024-01-13 13:06

感知机、多层感知机、激活函数sigmoid

以前回归输出的是实数，softmax回归输出的是概率。多层感知机多层感知机可以拟合XOR函数。一个函数实现不了，再来一个函数，组合多个函数。
你若盛开，清风自来！·2024-01-12 21:07

深度学习剖根问底：Logistic回归和Softmax回归

1．简介逻辑回归和Softmax回归是两个基础的分类模型，虽然听名字以为是回归模型，但实际我觉得他们也有一定的关系。
BigCowPeking·2024-01-12 17:57

PaddleSeg学习4——paddle模型使用TensorRT推理（c++）

paddle模型使用TensorRT推理1模型末端添加softmax和argmax算子2paddle模型转onnx模型3onnx模型转TensorRT模型3.1安装TensorRT-8.5.3.13.2
waf13916·2024-01-12 14:34

深度学习（一）深层神经网络的搭建【附实例代码】

深层神经网络文章目录深层神经网络1.MNIST数据集2.多分类问题2.1softmax2.2交叉熵3.数据加载4.搭建网络并训练前面一篇我们简要介绍了神经网络的一些基本知识，同时也是示范了如何用神经网络构建一个复杂的非线性二分类器
AutoFerry·2024-01-12 00:03

神经网络中的激活函数sigmoid tanh ReLU softmax函数

神经网络中的激活函数sigmoidtanhReLUsoftmax函数人工神经元简称神经元，是构成神经网络的基本单元，其中主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。
oceancoco·2024-01-11 08:56

竞赛保研 基于深度学习的植物识别算法 - cnn opencv python

文章目录0前言1课题背景2具体实现3数据收集和处理3MobileNetV2网络4损失函数softmax交叉熵4.1softmax函数4.2交叉熵损失函数5优化器SGD6最后0前言优质竞赛项目系列，今天要分享的是
iuerfee·2024-01-11 07:49

torch.nn.CrossEntropyLoss()

,ignore_index=-100,reduce=None,reduction='mean',label_smoothing=0.0)计算过程nn.CrossEntropyLoss()=nn.LogSoftmax
一壶浊酒..·2024-01-10 10:36

Softmax回归

目录1.Softmax回归的从零开始实现2.softmax回归的简洁实现对重新审视softmax的实现的思考：对交叉熵损失函数的思考：小批量随机梯度下降算法的理解：1.Softmax回归的从零开始实现importtorchfromIPythonimportdisplayfromd2limporttorchasd2l
sendmeasong_ying·2024-01-10 06:54

09 Softmax回归+损失函数+图片分类数据集

Softmax回归1.回归估计一个连续值，分类预测一个离散类别2.MNIST:手写数字识别；ImageNet:自然物体分类置信度可以定义为,在特定条件下,根据一定数据做出正确抉择的概率。
sendmeasong_ying·2024-01-10 06:53

softmax详解

在神经网络中，Softmax是一个用于多类别分类的激活函数。给定一个包含原始分数（未经处理的模型输出）的向量，Softmax将这些分数转化为表示概率分布的向量。
天一生水water·2024-01-10 00:06

keras 例子

基于多层感知机的softmax分类fromkeras.modelimportSequentialfromkeras.layresimportDense,Dropout,Activationfromkeras.optimizersimportSGD
Liam_ml·2024-01-09 18:50

softmax回归+损失函数

本文章借鉴李沐老师动手深度学习,只作为个人笔记.3.4.softmax回归—动手学深度学习2.0.0documentation(d2l.ai)文章目录前言一、回归vs分类二、分类问题独热编码(One-HotEncoding
笔写落去·2024-01-08 13:42

经典论文之（三）——Transformer

目录绪论背景模型架构编码器解码器注意力层ScaledDot-ProductAttentionMulti-HeadAttentionPosition-wiseFeed-ForwardNetworks--前馈神经网络EmbeddingsandSoftmaxPositionalEncoding
维斯德尔·2024-01-08 12:41

小白学习深度学习之（二）——softmax回归

softmax回归什么是softmax回归分类问题网络架构全连接层的参数开销softmax运算图像分类数据集softmax回归的简洁实现初始化模型参数损失函数优化算法训练什么是softmax回归回归可以用于预测多少的问题
维斯德尔·2024-01-08 12:10

小白学习深度学习之（三）——多层感知机

mlp隐藏层从线性到非线性通用近似定理多层感知机的简洁实现模型K折交叉验证泛化误差、训练误差、欠拟合、过拟合权重衰减暂退法(Dropout)在学习完线性回归和softmax回归后，我们开始对深度神经网络的的探索
维斯德尔·2024-01-08 12:10

FLatten Transformer：聚焦式线性注意力模块

线性注意力将Softmax解耦为两个独立的函数，从而能够将注意力的计算顺序从(query·key)·value调整为query·(key·value)，使得总体的计算复杂度降低为线性。
我菜就爱学·2024-01-08 10:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他