拟牛顿法

优化算法——拟牛顿法之L-BFGS算法

一、BFGS算法  在“优化算法——拟牛顿法之BFGS算法”中，我们得到了BFGS算法的校正公式：利用Sherman-Morrison公式可对上式进行变换，得到令，则得到：二、BGFS算法存在的问题  
google19890102·2015-06-06 17:00

梯度-牛顿-拟牛顿优化算法和实现

http://blog.csdn.net/u012176591要求解的问题线搜索技术和Armijo准则最速下降法及其Python实现牛顿法阻尼牛顿法及其Python实现修正牛顿法法及其Python实现拟牛顿法
u012176591·2015-05-30 10:00

无约束最优化方法——牛顿法、拟牛顿法、BFGS、LBFGS

转自http://blog.csdn.net/lansatiankongxxc/article/details/45873597这是前一段时间写的博客，然后又重新整理了一下最速下降法牛顿法拟牛顿法SR1BFGSDFPLBFGS
Datuqiqi·2015-05-25 14:00

无约束最优化方法——牛顿法、拟牛顿法、BFGS、LBFGS

这是前一段时间写的博客，然后又重新整理了一下最速下降法牛顿法拟牛顿法SR1BFGSDFPLBFGS【最速下降法】无约束最优化方法不涉及约束条件，所以都是介绍如何寻找搜索方向以及搜索步长。
lansatiankong·2015-05-20 17:32

无约束最优化方法——牛顿法、拟牛顿法、BFGS、LBFGS

这是前一段时间写的博客，然后又重新整理了一下最速下降法牛顿法拟牛顿法SR1BFGSDFPLBFGS【最速下降法】无约束最优化方法不涉及约束条件，所以都是介绍如何寻找搜索方向以及搜索步长。
lansatiankongxxc·2015-05-20 17:00

优化算法——拟牛顿法之BFGS算法

同DFP校正的推导公式一样，DFP校正见博文“优化算法——拟牛顿法之DFP算法”。对于拟牛顿方程：可以化简为：令，则可得：在BFGS校正方法中，假设：二、BFGS校正公式的推导令，其中均为的向量。，。
zhiyong_will·2015-05-20 11:14

优化算法——拟牛顿法之DFP算法

一、牛顿法  在博文“优化算法——牛顿法(NewtonMethod)”中介绍了牛顿法的思路，牛顿法具有二阶收敛性，相比较最速下降法，收敛的速度更快。在牛顿法中使用到了函数的二阶导数的信息，对于函数，其中表示向量。在牛顿法的求解过程中，首先是将函数在处展开，展开式为：其中，，表示的是目标函数在的梯度，是一个向量。，表示的是目标函数在处的Hesse矩阵。省略掉最后面的高阶无穷小项，即为：上式两边对求导
google19890102·2015-05-19 22:00

bfgs拟牛顿法

但是在进入正文之前，还是要先提到一个概念上的区别，否则将影响大家的理解：其实DFP算法、BFGS算法都属于拟牛顿法，即，DFP、BFGS都分别是一种拟牛顿法。
ivysister·2015-05-02 11:00

BFGS算法

BFGS算法被认为是数值效果最好的拟牛顿法，并且具有全局收敛性和超线性收敛速度。那么接下来将会详细讲解。
ACdreamers·2015-03-27 01:41

BFGS算法

BFGS算法被认为是数值效果最好的拟牛顿法，并且具有全局收敛性和超线性收敛速度。那么接下来将会详细讲解。
ACdreamers·2015-03-27 01:41

BFGS算法

BFGS算法被认为是数值效果最好的拟牛顿法，并且具有全局收敛性和超线性收敛速度。那么接下来将会详细讲解。 
ACdreamers·2015-03-27 01:00

机器学习优化算法L-BFGS及其分布式实现

在无约束优化问题中，牛顿法及拟牛顿法是常用的方法，L-BFGS属于拟牛顿法，下面从牛顿法开始说起。
大豆芽·2015-03-14 22:41

机器学习优化算法—L-BFGS

关于优化算法的求解，书上已经介绍了很多的方法，比如有梯度下降法，坐标下降法，牛顿法和拟牛顿法。
chenzhijay·2014-11-27 09:21

梯度下降、牛顿法、拟牛顿法

梯度下降、牛顿法、拟牛顿法都是求解无约束最优化问题的常用方法，且均是迭代算法。基本思想函数凹凸性讨论1.当目标函数是凸函数时，梯度下降法的解释全局最优解。一般情况下，其解不保证是全局最优解。
luo86106·2014-10-27 19:00

deep learning Softmax分类器（L-BFGS,CG,SD）

前言：    在最优化计算方法中，我已经讲到了机器学习常用的一些参数优化的方法，如梯度法，共轭梯度法，牛顿法，拟牛顿法，在《最优化计算方法》板块，我都用回归分析比较了这些参数优化的方法，从现在开始，我将把这些参数优化的方法用来训练分类器
hlx371240·2014-10-12 09:00

在BFGS中，线搜索方法确定步长α

下面用精确线搜索和非精确线搜索来确定α，以拟牛顿法BFGS在回归中作为例子
hlx371240·2014-10-10 15:00

《最优化计算方法》这门课中所有的方法在回归分析的比较与分析

BB(2),a=0.3,a=0.1,a=1.3,a=0.03,CG,DFP,BFGS,0.01,steepsetDescent,TurstRegionwithDogLeg,Newton(NT).其中两种拟牛顿法重合
hlx371240·2014-10-09 18:00

拟牛顿法

拟牛顿法变种众多，实际中应用广泛。本文就拟牛顿法进行比较全面的探讨，特别是考察每种变种算法的设计思
aldenphy·2014-06-27 14:00

牛顿法及拟牛顿法（L-BFGS）

由于很多H(x)都是非正定的，所以引入了拟牛顿法。在拟牛顿法中，令x=xk，这样就得到了式子（5）,这个式子在李航的书中没有给出具体解释，这里我秒懂了。。。式子（5）上方的文字也很重要。
haimengao·2014-06-09 16:00

一种适合于大数据的并行坐标下降法

 在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。
peghoty·2014-06-03 23:00

大规模优化算法 - LBFGS算法

本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法-牛顿法-共轭梯度法-拟牛顿法-DFP矫正-BFG
fennvde007·2014-05-31 14:00

大规模优化算法 - LBFGS算法

本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法-牛顿法-共轭梯度法-拟牛顿法-DFP矫正-BFG
muye5·2014-04-22 16:58

优化算法——拟牛顿法之BFGS算法

同DFP校正的推导公式一样，DFP校正见博文“优化算法——拟牛顿法之DFP算法”。对于拟牛顿方程：可以化简为：令，则可得：在BFGS校正方法中，假设：二、BFGS校正公式的推导  令，其中均为的向量。
google19890102·2014-04-14 23:00

牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法

机器学习算法中经常碰到非线性优化问题，如SparseFiltering算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3) DFP算法(4) BFGS算法(5) L-BFGS算法作者:pegho
peghoty·2014-03-24 00:00

牛顿法与拟牛顿法学习笔记（四）BFGS 算法

机器学习算法中经常碰到非线性优化问题，如SparseFiltering算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3) DFP算法(4) BFGS算法(5) L-BFGS算法作者:pegho
peghoty·2014-03-24 00:00

牛顿法与拟牛顿法学习笔记（三）DFP 算法

机器学习算法中经常碰到非线性优化问题，如SparseFiltering算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3) DFP算法(4) BFGS算法(5) L-BFGS算法作者:pegho
peghoty·2014-03-24 00:00

牛顿法与拟牛顿法学习笔记（二）拟牛顿条件

机器学习算法中经常碰到非线性优化问题，如SparseFiltering算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3) DFP算法(4) BFGS算法(5) L-BFGS算法作者:pegho
peghoty·2014-03-24 00:00

牛顿法与拟牛顿法学习笔记（一）牛顿法

机器学习算法中经常碰到非线性优化问题，如SparseFiltering算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3) DFP算法(4) BFGS算法(5) L-BFGS算法作者:pegho
peghoty·2014-03-24 00:00

拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno

但是在进入正文之前，还是要先提到一个概念上的区别，否则将影响大家的理解：其实DFP算法、BFGS算法都属于拟牛顿法，即，DFP、BFGS都分别是一种拟牛顿法。
yeyang911·2013-10-12 10:00

机器学习算法

梯度下降法9、马尔科夫模型与语言模型10、隐马模型基础11、网页排序基础，pagerank，learningtorank基础（pointwise，pairwise）advanced12、带正则化的逻辑回归，拟牛顿法
x_yz_·2013-06-21 09:00

0043算法笔记——【随机化算法】解非线性方程组

问题分析   解决这类问题有多种数值方法，如：牛顿法、拟牛顿法、粒子群算法等。最常用的有线性化方法和求函数极小值方法。
liufeng_king·2013-06-05 11:00

最优化：拟牛顿法、最速下降法、共轭梯度法、信赖域法、协同优

最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。这类问题普遍存在。例如，工程设计中怎样选择设计参数，使得设计方案既满足设计要求又能降低成本；资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益；生产计划安排中，选择怎样的计划方案才能提高产值和利润；原料配比问题中，怎样确定各种成分的比例，才能提高质量，
kunlong0909·2013-04-13 10:00

拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno

但是在进入正文之前，还是要先提到一个概念上的区别，否则将影响大家的理解：其实DFP算法、BFGS算法都属于拟牛顿法，即，DFP、BFGS都分别是一种拟牛顿法。先说一点轻松的—
nocml·2012-12-12 15:00

优化理论

最优化：拟牛顿法、最速下降法、共轭梯度法、信赖域法、协同优化 (2012-02-2518:16:36)标签： 校园分类： 工作篇最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案
pi9nc·2012-11-28 16:00

拟牛顿法——变种及其相互关系

拟牛顿法——变种及其相互关系 (2012-05-2617:55:53)转载▼标签： 最优化 读书报告 杂谈分类： HTS学研按：选了一门《实用最优化算法及其应用》，做了四次小作业，最后交了一个大作业，即一篇读书报告
pi9nc·2012-11-28 15:00

拟牛顿法中的DFP算法和BFGS算法

注明：程序中调用的函数jintuifa.mgolddiv.m我在之前的笔记中已贴出DFP算法和BFGS算法不同在于H矩阵的修正公式不同DFP算法%拟牛顿法中DFP算法求解f=x1*x1+2*x2*x2-
小小IT·2011-04-17 20:00

拟牛顿法中的DFP算法和BFGS算法

注明：程序中调用的函数jintuifa.mgolddiv.m我在之前的笔记中已贴出DFP算法和BFGS算法不同在于H矩阵的修正公式不同DFP算法%拟牛顿法中DFP算法求解f=x1*x1+2*x2*x2-
dgglx·2011-04-17 20:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他