cross-entropy求导

集成学习——基于机器学习_周志华

上篇主要介绍了鼎鼎大名的EM算法，从算法思想到数学公式推导（边际似然引入隐变量，Jensen不等式简化求导），EM算法实际上可以理解为一种坐标下降法，首先固定一个变量，接着求另外变量的最优解，通过其优美的
Pandy Bright·2023-12-21 22:47

Pytorch：backward()函数详解

.backward().backward()是PyTorch中用于自动求导的函数，它的主要作用是计算损失函数对模型参数的梯度，从而实现反向传播算法。
北方骑马的萝卜·2023-12-21 08:52

【pytorch】自动求导机制

基础概念汇总Tensor是torch.autograd中的数据类型，主要用于封装Tensor，进行自动求导。
prinTao·2023-12-21 08:17

数学learning

目录移动平均简单移动平均加权移动平均指数移动平均矩阵求导矩阵对标量求导Matrix-by-scalar标量对矩阵求导Scalar-by-matrix参考博客移动平均优化算法里面会涉及到一个知识点：指数移动平均
熬夜患者·2023-12-20 01:46

大模型自定义算子优化方案学习笔记：CUDA算子定义、算子编译、正反向梯度实现

因为目前大模型的计算逻辑是由一个个独立的算子或者说OP正反向求导实现的，底层往往调用的是GPU提供的CUDA的驱动程序。
Garvin Li·2023-12-19 03:02

【Pytorch】学习记录分享3——PyTorch 自动微分与线性回归

Pytorch】学习记录分享3——PyTorch自动微分与线性回归1.autograd包，自动微分2.线性模型回归演示3.GPU进行模型训练小结：只需要将前向传播设置好，调用反向传播接口，即可实现反向传播的链式求导
大江东去浪淘尽千古风流人物·2023-12-18 16:47

根据定义计算梯度

#参数df表示cost函数对df求导defeval_numerical_gradient_array(f,x,df,h=1e-5):"""Evaluateanumericgradientforafunctionthatacceptsanumpyarraya
抬头挺胸才算活着·2023-12-18 15:11

多项式回归及过拟合欠拟合处理

线性回归的矩阵表达y=wx+bY=XWt损失函数误差平方和/残差平方和最小二乘法的作用可以使得损失值进行最小化，在损失值最小化的情况下求解出最优的权重系数W损失函数对W进行求导，且将一阶导数等于0.回归模型
浅笑_7cad·2023-12-18 12:52

django+vue实现websocket即使通讯

HTTP的特性就是无状态的短连接,即一次请求一次响应断开连接失忆,这样服务端就无法主动的去寻找客户端给客户端主动推送消息1.轮询即:客户端不断向服务器发起请求索取消息优点:基本保障消息即时性缺点:大量的请求导致客户端和服务端的压力倍增
rennan…·2023-12-18 09:35

AI人工智能和大模型（概念）之二

安装PyTorch更为便捷张量：（1）Tensor可以是高维的（2）并非是PyTorch中才有的概念（3）PyTorch运算的基本单元（4）基础数据定义和运算（5）在PyTorch中支持GPU运算，自动求导等操作机器学习两种典型的任务
永远的HelloWorld·2023-12-18 08:29

高数：数列的收敛

数列的表示形式求数列的单调性作差，作商，求导，列举法，把极限和某项比较。有界数列有上界和下界如何证明一个数列无界？
社交达人波奇酱·2023-12-18 03:56

js页面实现打印 iframe + window.print()

前言最近做了一个打印功能里面各种操蛋的需求导致纠结了两天功能完成之后记录一下一、实现打印功能代码实现openPrint(path){letnewIframe=document.createElement
stpzhf·2023-12-18 00:03

53从 0 到 1 实现卷积神经网络--实现卷积神经网络

实现卷积神经网络梯度检验前面两个实验实现交叉熵损失函数、激活函数、线性层时，都是直接对其函数进行求导，在数学上称之为解析梯度Analyticgradient，而在数学上梯度的真正定义是:image.png
Jachin111·2023-12-17 07:57

Pytorch当中的.detach()操作是什么意思

当我们在PyTorch中进行张量运算时，操作会构建一个计算图来跟踪计算历史，这个计算图用于自动求导和反向传播来计算梯度。
BugMaker2002·2023-12-17 07:18

晨间日记（202110200199）

任务清单（一）昨日完成的任务，最重要的三件事1.完成教育理论宣讲、学院领导班子见面会；2.完成学费减免材料的提交；3.完成新生学院领导班子、各专业见面会；（二）未完成事情及原因（三）改进没有了解学校报销的要求导致帮同学们买了午饭不能报销
锋听慧言曼语·2023-12-17 03:44

leetcode砍竹子1

1.根据公式看出取等是在所有n相等的情况，可以得出只有均分乘积最大2.转为求下面的最大值3.求导，得出驻点为e=2.7左右4.分类讨论，即2或3时可得到最大可看出3离驻点距离更近，选择35.尽量选择3余数为
qq_41170818·2023-12-16 23:26

21天敏捷项目管理——Day 5 敏捷方法（实践）

精益软件开发采用丰田生产系统（TPS）的原则和实践TPS开发旨在解决影响生产过程的问题，例如过度：对于雇员和过程是假不必要的额外压力违规：不切实际的需求导致过程中的不均匀浪费：非增值活动或过程精益7原则消除浪费
知微J·2023-12-16 23:15

「Python海龟画图」利用海龟画笔绘制正方形

创建海龟笔功能要求导入海龟模块、创建画笔。
夜晚回家·2023-12-16 13:01

为什么 GAN 不好训练

先看GAN的损失：当生成器固定时，堆D(x)求导，推理得到（加号右边先对log求导，再对负项求导）然后在面对最优Discriminator时，Generator的优化目标就变成了：上式可以变成：也就是说
木水_·2023-12-16 08:39

Vue中 前端如何动态的修改某个DOM元素鼠标移入移出时的背景图片

1、需求导入在某个需求下，需要鼠标移入时是A背景图，移出时是B背景图。
听书先生·2023-12-16 05:42

go-zero目录结构和说明

code-of-conduct.md行为准则├──CONTRIBUTING.md贡献指南├──core框架的核心组件│├──bloom布隆过滤器，用于检测一个元素是否在一个集合中│├──breaker熔断器，用于防止过多的请求导致系统崩溃
一见·2023-12-16 01:33

子类继承 nn.Sequential 和继承 nn.Module 的异同点

都可以用于构建神经网络模型，但它们在使用方式和设计理念上有一些区别下面是它们的异同点：同：都可以用于定义神经网络模型，并通过重写forward()方法来定义模型的前向传播过程都是PyTorch中的模型类，可以利用自动求导机制进行反向传播和梯度更新异
Kelly_Ai_Bai·2023-12-15 20:25

PyTorch 模型训练性能大揭秘：从基础到高级技巧一网打尽！

PyTorch既可以看作加入了GPU支持的numpy，也可以看成一个拥有自动求导功能的强大的深度神经网络，同时它也是大模型开发的首选工具。
Python算法实战·2023-12-15 02:58

OpenCV|图像特征-harris角点检测

cv2.cornerHarris()img:数据类型为float32的输入图像blockSize：角点检测中指定区域的大小ksize：sobel求导中使用的窗口大小k：取值参数为[0.04,0.06]chessboard.jpgimportcv2importnumpyasnpimg
squirrel快乐敲码·2023-12-14 21:58

深度学习——第3章 Python程序设计语言（3.8 深度学习框架PyTorch）

3.8深度学习框架PyTorch目录1.PyTorch简介2.PyTorch的安装3.PyTorch相关资源4.张量5.自动求导6.并行计算简介7.AI硬件加速设备PyTorch简介PyTorch是由MetaAI
曲入冥·2023-12-14 16:51

【OpenCV】边缘检测：梯度，sobel算子的理解

在这一讲中我们来学习一下opencv中最基本的边缘检测的知识，首先我们来介绍一下图像梯度1.图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导：图像梯度:梯度算子Gradientoperators
zxl6646761·2023-12-06 20:19

深度学习TensorFlow2基础知识学习前半部分

目录测试TensorFlow是否支持GPU：自动求导：数据预处理之统一数组维度定义变量和常量训练模型的时候设备变量的设置生成随机数据交叉熵损失CE和均方误差函数MSE全连接Dense层维度变换reshape
编程被我拿捏住了·2023-12-06 07:15

TORCH02-02:Torch常见机器学习函数

Torch的核心是求导，求导依赖运算函数的定义，函数运算在Torch中也是重点之一，有的函数使用Function接口规范，会提升求导的效率；本主题主要梳理Torch与机器学习有关的函数运算；  1.Tensor
杨强AT南京·2023-12-06 03:20

风雨考研路（第二十二天）

一个函数的任意两个原函数之间相差常熟3：F（x）为f（x）的一个原函数，则F（x）+C（C为任意常数）为f（x）的一切原函数～F（x）+C—为f（x）的不定积分（所有原函数）记|f（x）dx=F（x）+C*先求导再积分和先积分
简学长·2023-12-05 06:31

二阶线性微分算子

求导算子:，相当于二阶线性微分算子符号：性质：设函数y=y(x),,,二阶可导，C、C1,C2为常数，则有叠加原理设函数,都是L[y]的解，C1,C2是常数，则c1y1+c2y2，也是L[y]的解函数线性相关和线性无关的定义二阶非齐次线性微分方程通解的结构定理定理
Richard888888888·2023-12-04 19:46

二阶常系数非齐次线性方程

是一个待定多项式求的一阶导数(求导：一项不变，二项求导+二项不变，一项求导)求的二阶导数将其代入方程一不可能是零公式(2)第一种情况：即不是特征方程的根这时是n次多项式设所以第二种情况，但，即是特征方程的单根
Richard888888888·2023-12-04 19:46

拉普拉斯变换的性质

（一次求导）（二次求导）（n次求导）(2).（t乘f(t)函数的拉普拉斯变换等于拉普拉斯
Richard888888888·2023-12-04 19:16

图像边缘检测及霍夫变换

把图像变化比较剧烈的地方，找出来，求导。laplace有方向，与sobe一样霍夫变换：直线，圆霍夫线变换：先进行边缘检测，将得到
开心大爆炸·2023-12-04 03:19

前向与反向过程的全连接与链式求导法则

本文将介绍前向与反向过程的全连接与链式求导法则，以帮助读者更好地理解深度学习中的求导过程。一、全连接神经网络简介全连接是指每个神经元都与上一层的所有神经元相连。
非著名程序员阿强·2023-12-02 19:28

matlab——diff函数

diff函数式用于求导数和差分的.无论是求导数还是差分,其原理是一样的.这里简单介绍下其用法：对连续求导diff(X)，求函数X的一阶导数；diff(X，n)，求函数X的n阶导(n是具体整数)；diff
learn81·2023-12-02 15:37

一种excel多线程并发写sheet的方案

一、背景有一次项目的需求要求导出excel，并且将不同的数据分别写到不同的sheet中。二、方案概述首先一开始使用easyexcel去导出excel，结果发现导出时间需要3秒左右。
喵喵队摆大烂·2023-12-02 07:22

数值分析总结

线性方法反复迭代比较牛顿插值,假设高阶差商为0,差商算是不微的微分样条插值:构建方程组,待定系数求解拟合把待拟合函数拆成多个函数的线性组合对线性系数求偏导,零偏导等于0拟合问题简化:构建正交基化简方程组数值微分插值,求导数值积分牛顿
好学的学渣·2023-12-01 18:03

数值微分和数值积分

数值微分和数组积分都有用函数值近似拟合的形式,它们可以表述成xix_ixi的数组微分(积分)=∑akf(xk)=\suma_kf(x_k)=∑akf(xk)数值微分先插值,再对插值函数求导三个点的一二阶导是
好学的学渣·2023-12-01 18:56

[Microsoft/AI-System]微软AI系统 Lecture3+Lab3

2021-07-13地址：microsoft/AI-SystemLecture3：ComputationframeworksforDNN主要讲了Tensor概念2.DAG图3.反向传播和自动求导图执行和调度
sagfugetabf·2023-12-01 16:09

数学分析理论基础16：求导法则

求导法则导数的四则运算定理：若函数u(x),v(x)在点可导,则函数在也可导,且证明：定理：若函数u(x),v(x)在点可导,则函数在点也可导,且证明：注：利用数学归纳法可推广到任意有限个函数乘积例：推论
溺于恐·2023-12-01 08:43

深度学习框架：（1）PyTorch，（2）TensorFlow 和keras

2、包含自动求导系统的的深度神经网络。二.什么是TensorFlow？（1）
随心就好@·2023-11-30 15:50

一小时快速入门Pytorch

details/89890330前辈们总结的很到位了，我就只给个大概的目录吧1.Pytorch是什么1.1张量（Tensor）1.1.1声明和定义1.1.2操作1.2和Numpy数组的转换2.Autograd自动求导
EVANNEA·2023-11-30 11:36

入门 PyTorch

学习PyTorch基础知识：可以从官方文档中的入门教程开始学习，了解、自动求导（Autograd）、模型定义、数据加载等基本概念和用法。
小帆别吃糖·2023-11-30 11:28

LM算法

根据求导数的方法，可分为2大类。第一类，若f具有解析函数形式，知道x后求导数速度快。第二类，使用数值差分来求导数。根据使用模型不同，分为非约束最优化、约束最优化、最小
xyz599·2023-11-30 04:13

人工智能基础_机器学习045_逻辑回归的梯度下降公式推导_更新公式---人工智能工作笔记0085

这个阿尔法是,通过调节这个来控制梯度下降的快和慢对吧然后我们再来看逻辑回归可以看到这里上面是hthetax这个回归函数,可以看到结果这个逻辑回归函数我们之前就知道了,对吧,然后我们再来看他的导数,我们对他来求导
脑瓜凉·2023-11-30 02:58

PAT--简单模拟刷题

B1018锤子剪刀布20分A1042ShufflingMachine20分—①A1046ShortestDistance20分—①A1065A+BandC(64bit)(20分)—①B1010一元多项式求导
Prime's Blog·2023-11-29 22:20

2023-简单点-机器学习中矩阵向量求导

机器学习中矩阵向量求导的概念是什么？在机器学习中，矩阵向量求导的概念主要涉及对函数中的矩阵或向量参数进行求导运算。这种求导运算可以帮助我们了解函数值随参数的变化情况，进而应用于优化算法中。
简单点好不好的仓库·2023-11-29 07:30

缓存雪崩导致的危害和解决办法

1.Redis数据失效导致的雪崩因为缓存失效，从而导致大量请求导向数据库。
右耳菌·2023-11-29 04:59

一睹为快，自动梯度求导

一睹为快，自动梯度求导笔者不想过多的谈TF有什么用，只是提供一个入门TF的教程本节目录自动梯度求导自动梯度求导自动梯度求导可以说是所有的深度学习框架所必须的工具，无论是TF,Torch等。
焜俞·2023-11-29 02:13

深度学习笔记

中数据集的使用Dataloader的使用卷积操作神经网络-卷积层最大池化非线性激活线性层小型网络搭建和Sequential使用损失函数与反向传播优化器网络模型的使用及修改完整模型的训练利用gpu训练模型验证自动求导线性神经网络线性回归基础优化算法线性回归的从零开始实现线性回归的简洁实现
czyxw·2023-11-28 23:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他