梯度下降法

2018-06-28 BP算法

BP推导——续反向传播算法BackpropagationAlgorithm（批量）梯度下降法(batch)gradientdescent（整体）代价函数(overall)costfunction方差squared-error
dataTONG·2020-08-19 03:43

反向传播算法（BP算法）

BP算法(即反向传播算法)，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。
纪文啊！·2020-08-19 03:14

统计学习方法-逻辑斯蒂回归与最大熵模型-读书笔记

逻辑斯蒂回归模型2.1逻辑斯蒂分布2.2二项逻辑斯蒂回归模型2.3模型参数估计2.4多项逻辑斯蒂回归3、最大熵模型3.1最大熵原理3.2最大熵模型4、算法4.1改进的迭代尺度法IIS4.2拟牛顿法4.3梯度下降法
qq_38829768·2020-08-19 03:41

《李航 统计学习方法》学习笔记——第六章 Logistic 回归与最大熵模型

Logistic回归与最大熵模型1.Logistic回归模型2.模型参数估计2.1梯度下降法求参2.2牛顿法求参2.3拟牛顿法求参2.3.1算法DFP2.3.2算法BFGS3.最大熵模型3.1原理3.2
eveiiii·2020-08-19 03:18

机器学习之线性回归、梯度下降以及引入正则化

首先先介绍两个概念：梯度下降法和梯度下降思想。梯度
要好好学习呀！·2020-08-19 02:49

模拟退火算法详解（TSP问题）

模拟退火算法原理：其目标是要找到函数的最大值，若初始化时，初始点的位置在A处，则会寻找到附近的局部最大值B点处，由于B点出是一个局部最大值点，故对于一般算法来讲，比如梯度下降法，该算法无法跳出局部最优值
gcg0223·2020-08-19 02:53

逻辑斯特回归(logistic regression)学习笔记

logisticregression1.线性回归线性回归可表示为：假设模型预测误差为,服从高斯分布；那么x与y的条件概率为：进行最大似然估计，求对数后可得最终的优化目标为最小化这就是为何选用平方和作为误差函数的原因，对上式求解一般采用梯度下降法和最小二乘法
举杯邀明月_·2020-08-19 01:54

搞清楚TensorFlow2--GradientTape

梯度下降法（GradientDescendent）是机器学习的核心算法之一，自动微分则是梯度下降
BoCong-Deng·2020-08-19 00:45

《统计学习方法（李航）》逻辑斯蒂回归与最大熵模型学习总结

（2）模型：y=wx+b（3）误差函数：（4）常见求解方法最小二乘法梯度下降法其它算法：牛顿法或拟牛顿法（5）最小二乘与梯度下降法关系最小二乘法看作优化方法的话，那么梯度下降法是求解方法的一种。
J-JunLiang·2020-08-19 00:09

逻辑斯谛回归与最大熵模型

本文第一部分主要讲什么是logistic（逻辑斯谛）回归模型，以及模型的参数估计，使用的是极大对数似然估计以及梯度下降法，第二部分介绍什么是最大熵模型，首先介绍最大熵原理，然后根据最大熵原理推出最大熵模型
jcsyl_mshot·2020-08-19 00:09

机器学习算法感知机详解加代码

感知机模型感知机是一个二分类的线性分类模型，输入实例的特征向量，输出实例的类别，取+1，-1二值，对应于特征空间中将实例划分为正负两类的超平面，那么如何求得这个超平面，导入了基于误分类的实例的损失函数，使用梯度下降法求解损失函数最小化时的最优参数
ID3·2020-08-19 00:41

逻辑斯谛回归与最大熵模型-《统计学习方法》学习笔记

本文第一部分主要讲什么是logistic（逻辑斯谛）回归模型，以及模型的参数估计，使用的是极大对数似然估计以及梯度下降法，第二部分介绍什么是最大熵模型，首先介绍最大熵原理，然后根据最大熵原理推出最大熵模型
土肥宅娘口三三·2020-08-19 00:08

统计学习方法笔记：逻辑斯谛回归与最大熵模型（下）

常用的方法有迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法或拟牛顿法一般收敛速度更快。1.3.1改进的迭代尺度法改进的迭代尺度法（improvediterativ
农民小飞侠·2020-08-19 00:36

逻辑回归 最大熵模型 iis 牛顿法 拟牛顿法

逻辑回归最大熵模型iis牛顿法拟牛顿法推导逻辑回归（梯度下降法）代码实现importnumpyasnpimportpandasaspddefsigmoid(inX):return1.0/(1+np.exp
ID3·2020-08-19 00:48

【Matlab学习手记】多元线性回归

介绍多元线性回归的三种方法：regress、左除、Adagrad梯度下降法。
Coder1012·2020-08-18 22:09

【Matlab学习手记】梯度下降法

clear;clc;%%一元函数梯度下降法%示例：f(x)=min{(x-1)^2}%梯度：g(x)=2*(x-1)yita=0.25;%学习率，一般设置小一点，否则容易在最小值附近震荡或者不收敛x1=
Coder1012·2020-08-18 22:09

梯度下降法与正规方程法

为了修正权系数，最终实现正确的分类，我们可以使用梯度下降法和正规方程法。
Alisa-c·2020-08-18 18:24

正规方程

来自：https://blog.csdn.net/sd9110110/article/details/53558821一、什么是正规方程梯度下降法计算参数最优解，过程是对代价函数的每个参数求偏导，通过迭代算法一步步更新
weixin_34221773·2020-08-18 17:08

Python实现神经网络（零基础篇）

本文涉及到数列的简单计算、函数以及类的定义、全连结神经网络的运算方式、损失函数、计算图以及随机梯度下降法。Pyth
曹栩珩·2020-08-18 14:27

机器学习系列6：正规方程

求一个函数的参数，例如下面这个方程，我们一般都会用梯度下降法去求。还会不会有其他方法求参数呢？答案是有的，可以用正规方程（NormalEquation）去求参数。那么问题来了，什么是正规方程呢？
SuperFengCode·2020-08-18 14:46

梯度下降与正规方程

梯度下降法梯度下降是一个最优化算法，通俗的来讲也就是沿着梯度下降的方向来求出一个函数的极小值。那么我们在高等数学中学过，对于一些我们了解的函数方程，我们可以对其求一阶导和二阶导，比如说二次函数。
QEcode·2020-08-18 14:40

【机器学习】逻辑回归过程推导

二、LR的具体过程，包括：选取预测函数，求解Cost函数和J(θ)，梯度下降法求J(θ)的最小值。三、对《机器学习实战》中给出的实现代码进行了分析，对阅读该书LR部分遇到的疑惑进行了解释。
五月槐花儿香·2020-08-18 13:09

梯度下降法详解

前言梯度下降法梯度下降法是机器学习中一种常用到的算法，主要解决求最小值问题，其基本思想在于不断地逼近最优点，每一步的优化方向就是梯度的方向。
深度技术宅·2020-08-18 13:02

常用梯度下降法与优化器都有什么？

机器学习中大部分为优化问题，而绝大部分优化问题都可以使用梯度下降法处理。梯度下降法的数学原理是函数沿着梯度方向具有最大变化率，那么在优化目标函数时沿着负梯度方向去减少函数值，以此达到优化目标。
飒白·2020-08-18 10:30

多种梯度下降变体的对比：Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent

文章目录一.批量梯度下降（Batchgradientdescent）二.随机梯度下降法（StochasticGradientDescent）三.小批量梯度下降法（Mini-batchGradientDescent
66Kevin·2020-08-18 06:37

最优化问题——梯度下降/上升法

前言在各种应用场景下我们经常会遇到一些求最优解的问题，在计算机中我们可以利用梯度下降法/上升法来求解局部最优解。
tick_tokc97·2020-08-18 03:26

学习排序算法（二）：Pairwise方法之RankNet

1.RankNet的基本思想RankNet方法就是使用交叉熵作为损失函数，学习出一些模型（例如神经网络、决策树等）来计算每个pair的排序得分，学习模型的过程可以使用梯度下降法。
super_bearxxf·2020-08-18 02:44

梯度下降法，牛顿法，牛顿高斯法的原理比较

梯度下降法和牛顿法可以用于任何可导函数的优化，都是把要优化的函数做泰勒展开后，找到能让目标函数最小的那个，注意不会目标函数的自变量x。
chamomoe·2020-08-17 17:10

李航统计学习方法-感知机理论

感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和
JohnBanana·2020-08-17 17:05

logistic 回归及用梯度下降法实现logistic回归。

通过梯度下降法，来训练w或者b，使得代价函数最小化。代价函数是一个凸函数，这样可以找到全局最优解。函数的凸性也是为什么选择在这个函数的原因。函数是凸的，无论从哪一点开始都应该到达同一点。
努力和行动都不会白费得·2020-08-17 17:07

关于梯度下降法、牛顿法、高斯-牛顿、LM方法的总结

线性最小二乘问题，我们可以通过理论推导可以得到其解析解，但是对于非线性最小二乘问题，则需要依赖迭代优化的方法，。梯度下降主要是从一阶目标函数的一阶导推导而来的，形象点说，就是每次朝着当前梯度最大的方向收敛；二牛顿法是二阶收敛，每次考虑收敛方向的时候，还会考虑下一次的收敛的方向是否是最大（也就是梯度的梯度）。可以参考下图：红线为牛顿法，绿线为梯度下降。高斯-牛顿和LM法则主要是针对非线性最小二乘问题
Mr_Mike_Li·2020-08-17 17:19

从零开始完整学习机器学习和深度学习，包括理论和代码实现，主要用到scikit和MXNet，还有一些实践（kaggle上的）

，最好有线性代数基础，没有也问题不大机器学习机器学习系列（一）numpy的使用机器学习系列（二）kNN（k近邻算法）会用到scikit机器学习系列（三）线性回归法，会用到scikit机器学习系列（四）梯度下降法机器学习系列
思源湖的鱼·2020-08-17 17:08

梯度下降的一个简单应用实例：三次函数拟合散点

1.基本原理：使用梯度下降法使用三次函数模型去拟合散点，基本过程是：根据三次函数模型给出损失函数求偏导得到所有迭代式编程实现初始化自变量设定学习速率α设置精度运行程序得到结果首先设定用来拟合的三元函数模型为
TYUT_SZH·2020-08-17 16:54

【MNIST】

首先我用的是两层（inputlayer和outputlayer）的feed-forward的神经网络结构来训练数据,y=wx+b,在输出层用的是softmax求概率，算loss用的是交叉熵的办法，选用梯度下降法来最小化
儒雅的晴天·2020-08-17 16:19

梯度下降法实现对数几率回归

1importmatplotlib.pyplotasplt2importnumpyasnp3importxlrd45defsigmoid(x):6"""7Sigmoidfunction.8Input:9x:np.array10Return:11y:thesameshapewithx12"""13y=1.0/(1+np.exp(-x))14returny1516defnewton(X,y):17""
weixin_34068198·2020-08-17 16:31

快速用梯度下降法实现一个Logistic Regression 分类器

前阵子听说一个面试题：你实现一个logisticRegression需要多少分钟？搞数据挖掘的人都会觉得实现这个简单的分类器分分钟就搞定了吧？因为我做数据挖掘的时候，从来都是顺手用用工具的，尤其是微软内部的TLC相当强大，各种机器学习的算法都有，于是自从离开学校后就没有自己实现过这些基础的算法。当有一天心血来潮自己实现一个logisticregression的时候，我会说用了3个小时么？。。。羞羞
weixin_34037977·2020-08-17 16:59

李航统计学习方法总结与整理

其包括原始形式和对偶形式，采用随机梯度下降法进行求解。首先任意选择一个超平面w0，b0，然后
w_zhao·2020-08-17 15:55

15加速神经网络的训练

1、StochasticGradientDescent(SGD)随机梯度下降批量梯度下降法（BatchGradient
花梦飞·2020-08-17 15:53

【机器学习笔记1.2】线性回归之梯度下降法求解

本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。线性回归是什么我们先考虑最简单的一种情况：输入属性的数目只有一个，即均方误差是回归任务重最常用的性能度量，因此我们可以试图让均方误差最小化，即基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（leastsquaremethod）.以上是参考周志华西瓜书，下面参考MIT笔记用梯度下降迭代得到w,b的算法。
取取经·2020-08-17 15:47

手写神经网络解决解决Mnist数字集

init__前向计算：BPNetwork：feedforward反向计算：BPNetwork：backprop使用小批量平均微分更新权重和偏移量：BPNetwork：update_mini_batch批量梯度下降法
sxjcfrd·2020-08-17 15:34

深度学习课程内容

编程作业：无神经网络基础主要介绍：logistic回归、损失函数、梯度下降、计算向量化、代价函数等；编程作业：使用Numpy的基础Python、logistic回归浅层神经网络主要介绍：神经网络、激活函数、梯度下降法
吾日三问·2020-08-17 14:52

统计学习方法——感知机模型

不过那时候，我们更多的是关注，感知机如何进行训练，包括随机梯度下降法和批梯度下降。但是对于其数学原理和正确性没有具体的深究，只是对于其表现形式和具体运行步骤有了一定的了解。
刘炫320·2020-08-17 14:14

梯度下降法实例

梯度下降法不懂的可以见斯坦福大学的公开课：机器学习第二课。
oQSA743·2020-08-17 13:59

机器学习——标准方程法及一些基础知识

标准方程法简单介绍：机器学习常用的减小代价函数的值的方法是梯度下降法，除此之外，还有一个常用的方法是标准方程法。
iownlucky·2020-08-17 12:24

统计学习方法 李航---第2章 感知机

感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.1感知机模型定义(感知机)：假设输入空间(特征空间
dazhichang6061·2020-08-17 12:08

梯度下降法与正规方程法

特征与多项式回归用复杂的函数去拟合特征，而不是简单的一元一次线性回归；梯度下降正规方程：有一定的优点也有一定的缺点，(XT*X)-1XTy求得最优的theta值尽管用梯度下降法，特征缩放仍然很重要何时用梯度下降法
海康威视-符景名·2020-08-17 11:20

Tensorflow（五）使用CNN对MNIST数据集进行分类

在tensorflow（二）中对MNIST数据集进行分类使用单层神经网络，梯度下降法以0.2的学习因子迭代了100次取得了92%的准确率，这个网络很简单，使用较大的学习因子也不会出现梯度爆炸或者梯度消失的情况
Bazingaea·2020-08-17 11:49

《统计学习方法》 读书笔记 第二章

利用梯度下降法进行学习。具有简单而易于实现的优点。是神经网络和支持向量机的基础。2.1感知机模型定义2.1（感知机）：假设输入空间（特征空间）是X⊆Rn，输出空间是Y={−1,+1}。
子夕听雨·2020-08-17 10:28

最小二乘法

简而言之，最小二乘法和梯度下降法类似，都是一种求解无约束最优化问题的常用方法，并也可以用于曲线拟合，来解决回归问题。一、简单
Miracle_Amy~·2020-08-17 10:58

统计学习方法——第二章学习笔记

感知机学习是要找到将训练数据进行线性划分的分离超平面，所以引入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
不吃辣的昕宝宝·2020-08-17 10:19
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他