Gradient

12 变分推断（Variational Inference）

积分问题（贝叶斯角度）1.3Inference2公式推导2.1公式化简2.2模型求解3回顾3.1数学符号规范化3.2迭代算法求解3.3MeanFieldTheory的存在问题4SGVI：StochasticGradientVa
weixin_46125345·2022-12-02 17:42

Gradient Domain Guided Image Filtering个人学习笔记

摘要引导式图像滤波器(GIF)以其保边特性和低计算复杂度，是一种著名的局部滤波器。不幸的是，GIF可能会遭受光晕伪影，因为在GIF中使用的局部线性模型不能很好地在某些边缘附近表示图像。本文结合显式的一阶边缘感知约束，提出了一种梯度域GIF。边缘感知约束使边缘被更好地保持下来。为了说明该滤波器的效率，将所提出的梯度域GIF应用于单图像细节增强、高动态范围图像的音调映射和图像显著性检测。理论分析和实验
追梦Hocking·2022-12-02 16:36

机器学习基础算法应用实践案例整理

机器学习基础算法应用实践案例整理一.线性回归算法部分：1.基于多元线性回归lineargradient预测家庭用电2.基于Lasso回归预测波斯顿房屋租赁价格变化情况3.基于softmax回归算法分类葡萄酒质量
田超凡·2022-12-02 15:04

PyTorch - 27 - 带PyTorch的CNN Confusion Matrix - 神经网络编程

ConfusionMatrixRequirementsGetPredictionsForTheEntireTrainingSetBuildingAFunctionToGetPredictionsForALLSamplesLocallyDisablingPyTorchGradientTrackingUsingT
许喜远·2022-12-02 15:23

【强化学习】随机策略梯度算法（stochastic-policy-gradient）

策略搜索方法相对于值函数法有如下优缺点优点：直接策略搜索方法是对策略π\piπ进行参数化表示，与值函数方中对值函数进行参数化表示相比，策略参数化更简单，有更好的收敛性。利用值函数方法求解最优策略时，策略改进需要求解argmaxaQθ(s,a)argmax_aQ_\theta(s,a)argmaxaQθ(s,a)，当要解决的问题动作空间很大或者动作为连续集时，该式无法有效求解。直接策略搜索方法经常采
贰锤·2022-12-02 13:07

强化学习原理与应用作业二

目录0.说明1.Task1ImplementingDQN1.1DQNforPongNoFrameskip-v42.Task2ImplementingPolicyGradient2.1REINFORCE及变体
Echo木·2022-12-02 13:05

RL策略梯度方法之(六): Deterministic policy gradient(DPG)

本专栏按照https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html顺序进行总结。
晴晴_Amanda·2022-12-02 13:03

论文笔记之DPG

原论文地址阅读DPG的必要性：A2C的难收敛使得policy-based向着DDPG发展，而DDPG=Deep+DPG，因此想要理解DDPG算法，就必须先理解DPGDeterministicPolicyGradientAlgorithms
Ton10·2022-12-02 13:30

用Python画colorbar渐变图+修改刻度大小+修改渐变颜色

DrawGradientColorMapusingpythongithub源码地址：欢迎关注我！
布拉德先生·2022-12-02 12:20

计算渐变色的RGB值

渐变色示例：importcv2importnumpyasnpdefgradient_ramp(num):defarithmetic_progression(vec_1,vec_2,num):series
东狱邪神·2022-12-02 12:16

Python - 实现渐变色的RGB计算

二、公式：Gradient=A+(B-A)/Step*N编程时为了提高效率避免浮点运算，往往把除法放在最后面，这样公式就成了：Gradient=A+(B-A)*N/Step注：Gradient表示第N步的
DreamingBetter·2022-12-02 12:14

对抗训练-pytorch实现

在NLP中实现对抗训练有两种方式(基于pytorch实现)方式一：FastGradientMethod（FGM）对抗训练实现：importtorchclassFGM():def__init__(self
weixin_45463503·2022-12-02 12:59

NLP中的对抗训练

目录一、对抗训练的基本概念二、NLP中常用对抗训练算法的pytorch版本实现1、FGM——FastGradientMethod2、PGD——ProjectedGradientDescent3、FreeLB
colourmind·2022-12-02 12:52

一、序列模型-sequence model

构建循环神经网络-RecurrentNeuralNetwork2.1RNN中的反向传播2.2不同架构的RNN3、语言模型的RNN架构3.1架构3.2序列采样4、RNN的梯度消失问题-vanishinggradients4.1
Dragon Fly·2022-12-02 07:36

深度学习框架Pytorch如何自动求梯度（gradient）

目录1自动求梯度1.1概念1.2创建Tensor并设置requires_grad1.3梯度计算1自动求梯度在深度学习中，我们经常需要对函数求梯度（gradient）。
阿_旭·2022-12-01 23:22

目标检测常用特征类型提取

本文介绍图像识别和目标检测中常用的特征，分别是Haar（哈尔）特征、LBF（localbinarypattern）特征、HOG（histogramoforientationgradient）特征共三种。
valuetimer·2022-12-01 20:50

[2022]李宏毅深度学习与机器学习第十二讲（必修）-Reinforcement Learning RL

[2022]李宏毅深度学习与机器学习第十二讲（必修）-ReinforcementLearningRL做笔记的目的WhatisRLPolicyGradientVersion1Version2Version3Actor-CriticVersion3.5Version4Tipofactor-CriticRewardShapingNoReward
走走走，快去看看世界·2022-12-01 19:50

李宏毅机器学习笔记第16周_机器学习的可解释性（Explainable ML）

2.Limitation:NoisyGradient3.Limitation:GradientSaturation4.Howanetworkprocessestheinputdata?
MoxiMoses·2022-12-01 19:40

机器学习 | 李宏毅课程笔记（三）Optimization

一、Gradient=0引起的Optimizationissue1.为什么讨论Criticalpoint？2.如何判断一个点是Localminima还是Saddlepoint呢？
Hygge0+·2022-12-01 19:01

机器学习 | 李宏毅课程笔记（二）深度学习任务攻略

【深度学习中的一些概念】神经网络的结构：https://www.bilibili.com/video/BV1bx411M7Zx梯度下降法（GradientDescent）：https://www.bilibili.com
Hygge0+·2022-12-01 19:30

tensorflow.python.framework.errors_impl.InvalidArgumentError: Input to reshape is a tensor with xxx

tensorflow.python.framework.errors_impl.InvalidArgumentError:Inputtoreshapeisatensorwithxxxvalues,buttherequestedshapehas0[[{{nodegradients
我是狮子搏兔·2022-12-01 17:29

XGBoost原理及应用

XGBOST原理XGBoost是使用梯度提升框架实现的高效、灵活、可移植的机器学习库，全称是EXtremeGradientBoosting.XGBoost算法原理其实算法的原理就是在一颗决策树的基础上不断地加树
一蓑烟雨紫洛·2022-12-01 16:03

xgboost java_08 集成学习 - XGBoost概述

概述XGBoost是GBDT算法的一种变种，是一种常用的有监督集成学习算法；是一种伸缩性强、便捷的可并行构建模型的GradientBoosting算法。
晴-LQ·2022-12-01 16:02

集成学习3—— XGBoost&LightGBM

Xgboost以CART决策树为子模型，通过GradientTreeBoosting实现多棵CART树的集成学习，得到最终模型。
读书不觉已春深！·2022-12-01 16:24

白手起家学习数据科学 ——梯度下降法之“背后的思想”(六)

这个意思是我们需要解决一些最优化问题，尤其我们需要从头做起来解决他们，我们所使用的方法叫做梯度下降法(gradientdescent)。你不可能发现它本身很惊艳，但是它能让我们做很惊艳的事情。
健雄·2022-12-01 12:06

数值梯度(Numerical Gradient)

数值梯度（NumericalGradient）数值梯度是对梯度的估计值，数值梯度在基于梯度下降的学习任务中可以用来检测计算梯度的代码是否正确，尽管当前而言各种autodiff框架早已保证了梯度的准确性，
luputo·2022-12-01 11:34

AdaBoost和Gradient Boosting算法实现

在介绍两种算法前，先介绍一下关于Boosting的两个核心问题：1）在每一轮如何改变训练数据的权值或概率分布？通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样例的权值，来使得分类器对误分的数据有较好的效果。这样分错的样本就被突显出来，从而得到一个新的样本分布。2）通过什么方式来组合弱分类器？通过加法模型将弱分类器进行线性组合，比如AdaBoost通过加权多数表决的方式，即增大错误率小
一页孤沙·2022-12-01 10:03

机器学习算法一：详解Boosting系列算法一Adaboost

本文主要介绍boosting算法得基本原理，以及的三种典型算法原理：adaboost，GBM（Gradientbosstingmachine），XGBoost。
一棵陪伴的树·2022-12-01 10:03

pytorch - connection between loss.backward() and optimizer.step()

,butI’dliketogiveaspecificexampletoexplainthemechanism.Supposewehaveafunction:z=3x^2+y^3.Theupdatinggradientformulaofzw.r.txandyis
敲代码的妹子·2022-12-01 08:46

torch代码解析 为什么要使用optimizer.zero_grad()

optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0.在学习pytorch的时候注意到，对于每个batch大都执行了这样的操作：#zerotheparametergradientsoptimizer.zero_grad
scut_salmon·2022-12-01 08:40

（转载笔记）loss.backward()与optimizer.step()的作用

#tensor(300.,grad_fn=)#Computegradientsoftheparametersrespecttotheloss
_wjunjie·2022-12-01 08:07

pytorch--＞optimizer.zero_grad()、loss.backward()、optimizer.step()和scheduler.step()

一般来说，以下三个函数的使用顺序如下：#computegradientanddoSGDstepoptimizer.zero_grad()loss.backward()optimizer.step()其中
努力学习的小小徐·2022-12-01 08:07

【Machine Learning, Coursera】机器学习Week10 大规模机器学习笔记

ML:LargeScaleMachineLearning本节内容：适用于大规模数据的梯度下降方法及如何确保算法收敛机器学习概念：批量梯度下降(BatchGradientDescent)随机梯度下降(StochasticGradientDescent
Aki-Z·2022-12-01 07:03

吴恩达机器学习笔记（十一） —— Large Scale Machine Learning

主要内容：一.Batchgradientdescent二.Stochasticgradientdescent三.Mini-batchgradientdescent四.Onlinelearning五.Map-reduceanddataparallelism
你狗·2022-12-01 07:02

机器学习（二十三）- Large Scale Machine Learning

GradientDescentwithLargeDatasets我们之前也有提到过，对于机器学习任务来说，有时候数据量的大小会很大程度上决定我们模型的好坏。
mike112223·2022-12-01 07:57

PyTorch称霸学界，TensorFlow固守业界，ML框架之争将走向何方？

选自TheGradient作者：HoraceHe机器之心编译参与：张倩、郑丽慧2019年，ML框架之争只剩两个实力玩家：PyTorch和TensorFlow。
我爱计算机视觉·2022-12-01 07:57

吴恩达机器学习笔记week17——大规模机器学习 Large scale machine learning

吴恩达机器学习笔记week17——大规模机器学习Largescalemachinelearning17-1.学习大数据集Learningwithlargedatasets17-2.随机梯度下降Stochaticgradientdescent
Saulty·2022-12-01 07:22

【含课程pdf & 测验答案】吴恩达-机器学习公开课 学习笔记 Week10 Large Scale Machine Learning

吴恩达-机器学习公开课学习笔记Week10LargeScaleMachineLearning10LargeScaleMachineLearning课程内容10-1GradientDescentwithLargeDatasetsLearningWithLargeDatasetsStochasticGradientDescentMini-BatchGradientDescentStochasticGr
CodingRae·2022-12-01 07:52

Stanford 机器学习笔记 Week10 Large Scale Machine Learning

GradientDescentwithLargeDatasetsLearningWithLargeDatasets在处理海量数据时对算法会有更高的要求。
Baoli1008·2022-12-01 07:22

【机器学习】课程笔记16_大规模机器学习(Large Scale Machine Learning)

大规模机器学习大型数据集的学习（LaerningwithLargeDatasets）随机梯度下降（StochasticGradientDescent）小批量梯度下降（Mini-BatchGradientDescent
雀栎·2022-12-01 07:49

【学习7】gradient、hessian、batch size、momentum

在criticalpoint（g=0）的地方，绿色方框的这一项会变成0，但是红色框的这项不会变为0.当H是的值全是正数，就是localminima；当H的值全是负数，就是localmaxima；当H的值有正有负，就是saddlepoint。g是一次微分，hessian是二次微分当我们遇到g已经为0，模型无法进行下一步更新，但是又没有达到最低值的时候，可以用H来做。二次微分的特征值入如果出现负数，那
Raphael9900·2022-12-01 04:41

SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient读书笔记

本篇博客仅为方便个人日后翻阅，对公式的解读代表了个人观点，希望能给大家带来一些启发。SequenceGenerativeAdversarialNets序列生成问题的描述：给定真实世界的结构化序列的数据集，训练一个含有参数θ的生成网络Gθ我们基于强化学习来解释这一问题，在第t个时间步，状态s是先前已生成的词(y1,...,yt−1)，动作a是如何选择要生成的词yt，这也是生成模型的工作Gθ(yt|Y
时光正好466·2022-11-30 22:16

APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (二)

文章目录前言NAG优化器APG与NAG的结合Pytorch代码实现总结附录公式(11)推导引用前言近期在阅读Data-DrivenSparseStructureSelectionforDeepNeuralNetworks论文时，用到里面APG-NAG相关优化器的知识，原论文方法采用mxnet去实现的，在这里想迁移到pytorch中。因此手撕一下APG和NAG相关的知识。在之前文章APG(Accel
等待戈多。·2022-11-30 20:12

深度学习Day03

SGD五大算法大的gradient会被小的牵制
非畅6 1·2022-11-30 19:59

pytorch学习笔记-入门-定义网络

在数据集上迭代，3：通过神经网络处理输入4：计算损失，输出值和正确值的插值大小5：将梯度反向传播会回网络的参数6：更新网络的参数，主要使用如下的更新原则：weight=weight-learning_rate*gradient
wenqiang su·2022-11-30 18:01

Tensorflow2.0常用函数

常用函数1.张量生成数据类型如何创建一个Tensor2.常用函数2.1基本2.2axis2.3tf.Variable2.4TensorFlow中的数学运算2.5矩阵乘2.6特征与标签2.7函数对指定参数求导gradient2.8
Rocket,Qian·2022-11-30 17:38

机器学习-随机森林算法

硬投票和软投票1.1概念介绍1.2硬投票展示1.3硬投票和软投票效果对比硬投票：软投票六、Bagging策略决策边界展示八、OOB袋外数据的作用九、特征重要性可视化展示十、AdaBoost算法决策边界展示十一、GradientBoo
Tc.小浩·2022-11-30 16:03

Bagging策略和随机森林的应用以及线性回归与局部加权回归三种实例（线性回归、AdaBoost、GradientBoostingRegressor）【机器学习】

一.Bagging策略bootstrapaggregation有放回抽样集合从样本集中重采样（有重复的）选出n个样本在所有属性上，对这n个样本建立分类器（ID3、C4.5、CART、SVM、Logistic回归等）重复以上两步m次，即获得了m个分类器将数据放在m个分类器上，最后根据m个分类器的投票结果，决定数据属于哪一类二.随机森林随机森林在bagging基础上做了修改。从样本集中用Bootstr
上进小菜猪·2022-11-30 16:50

吴恩达机器学习ex8-协同过滤推荐系统

目录1.导包2.加载并检查数据3.代价函数cost4.梯度下降gradient5.正则化代价函数cost和梯度下降函数gradient6.训练前的准备工作7.训练1.导包importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportseabornassbfromscipy.ioimportloadmatfromscipy.opti
怀怀怀怀·2022-11-30 16:18

LSTM及其变种及其克服梯度消失

本宝宝又转了一篇博文，但是真的很好懂啊：写在前面：知乎上关于lstm能够解决梯度消失的问题的原因：上面说到，LSTM是为了解决RNN的GradientVanish的问题所提出的。
weixin_30839881·2022-11-30 13:54
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他