L-BFGS

优化算法（一）：牛顿法与拟牛顿法

在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。
snowdroptulip·2020-06-26 13:53

机器学习--牛顿法

在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。
热之决斗者·2020-06-26 06:53

最全的机器学习中的优化算法介绍

这些常用的优化算法包括：梯度下降法（GradientDescent），共轭梯度法（ConjugateGradient），Momentum算法及其变体，牛顿法和拟牛顿法（包括L-BFGS），AdaGrad
NirHeavenX·2020-06-26 04:48

条件随机场

概率无向图模型的因子分解条件随机场的模型表示linear-chain条件随机场CRF的定义CRF的参数化形式CRF的简化形式条件随机场的矩阵形式条件随机场的概率计算问题前向-后向算法概率计算期望值的计算条件随机场的训练L-BFGS
lgy54321·2020-06-24 03:01

deep learning Softmax分类器（L-BFGS,CG,SD）

前言：在最优化计算方法中，我已经讲到了机器学习常用的一些参数优化的方法，如梯度法，共轭梯度法，牛顿法，拟牛顿法，在《最优化计算方法》板块，我都用回归分析比较了这些参数优化的方法，从现在开始，我将把这些参数优化的方法用来训练分类器。在本节中，我讲介绍softmax分类器，该分类器是在logistic回归模型在多分类问题上的推广。在多分类问题中，分类标签y可以取两个以上的值。softmax分类器对于诸
小明知道·2020-06-23 14:01

高级优化（Advanced optimization）

梯度下降算法：其他的算法：共轭梯度法（Conjugategradient）；BFGS算法；L-BFGS算法。这些算法优点是不需要我们手动的选择α；速度快于梯度下降法。缺点是复杂。
天际神游·2020-04-12 09:22

2018-12-15逻辑回归 高级优化

高级优化“共轭梯度”，“BFGS”和“L-BFGS”是更复杂，更快速的优化θ的方法，可用于代替梯度下降。
奈何qiao·2020-03-18 10:49

LogisticRegressionWithLBFGS--逻辑回归

valmodel=newLogisticRegressionWithLBFGS().setNumClasses(10).run(training)这段代码是直接使用了此逻辑回归L-BFGS算法就是对拟牛顿算法的一个改进
蠟筆小噺没有烦恼·2020-03-01 17:55

对抗样本（一）以综述入门

.论文题目  2.论文时间  3.论文文献二、论文背景及简介三、论文的主要内容四、论文的安排五、论文的主要内容 SectionⅡ简介 SectionⅢ术语介绍 SectionⅣ对抗攻击方法   [1、L-BFGS
Bai丁·2020-02-20 14:46

L-BFGS算法详解（逻辑回归的默认优化算法）

python信用评分卡建模（附代码，博主录制）https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share参考https://blog.csdn.net/weixin_39445556/a
python_backup·2020-01-27 20:00

Logistic回归(Logistic Regression)算法笔记(二)-scikit learn

本节不仅介绍了Logistic回归在sklearn中模型应用，还介绍了liblinear、牛顿法、拟牛顿法(DFP算法、BFGS算法、L-BFGS算法)、梯度下降、随机梯度下降等，正文如下，欢迎围观喔~
keepStriving·2019-12-30 16:40

TensorFlow实现多层感知机

多层感知机通过方向传播来学习模型，其中我们使用逻辑损失函数以及L-BFGS。K＋1层多层感知
羽恒·2019-12-15 11:33

从线性回归到广义线性回归知识系统总结

0引言在机器学习、数据挖掘中线性回归、Logistic回归（一种非线性回归）是比较基础而且常用回归与分类算法，比如结合L-BFGS优化算法在工业级的大规模推荐系统中被比较多地应用。
StevenSun2014·2019-09-03 23:56

大白话5分钟带你走进人工智能 - 第二十一节 牛顿法和L-BFGS求函数最优解

第二十一节牛顿法和L-BFGS求函数最优解这一节中，我们讲解一个新的求函数最优化的方法就是L-BFGS。以下是本节目录。
L先生AI课堂·2019-05-04 11:00

Box-constrained L-BFGS 相关知识拓展

Box-constrainedL-BFGS相关知识拓展box-constrainedoptimizationproblemhardproblemL-BFGS矩阵相关autoencoder变分自动编码器(VariationalAutoencoder)lipschitz常数，lipschitz条件Jacobian矩阵，Hessian矩阵Parseval’sformulabox-constrainedo
Evabook·2019-04-16 17:21

常见AI面试题及答案

；缺失值处理（离散、连续）...机器学习常用loss、正则、sgd、l-bfgs、auc公式及优缺点、数据不平衡时的调参...booting：gbdt的loss、分裂节点依据、
haimianjie2012·2019-02-20 22:33

梯度下降法、牛顿法、拟牛顿法 三类迭代法应用场景有何差别？

ByDatawhale知乎内容输出小组D1问题梯度下降法一族（如SGD、Adam）、牛顿法一族（如Gauss-NewtonMethod，LM法）、拟牛顿法一族（如L-BFGS）是机器学习中最常见的三大类迭代法
libh·2019-01-12 19:40

拟牛顿法推导

另外，在满足拟牛顿条件的基础上如何构造近似的海塞矩阵，这有很多种方法，比如：DFP算法，BFGS算法，L-BFGS算法以及Broy
随机漫步_·2018-07-20 15:11

L-BFGS剖析

机器学习中经常利用梯度下降法求最优解问题，通过大量的迭代来得到最优解，但是对于维度较多的数据，除了占用大量的内存还会很耗时，L-BFGS算法是一种在牛顿法基础上提出的一种求解函数根的算法，下面由简入深尽量用简洁的语言剖析算法的本质
golden_xuhaifeng·2018-04-04 15:22

梯度下降法和牛顿法的简单对比

梯度下降法和牛顿法机器学习问题可以分为两类：给定data求model；给定model求解θθ：SGD或BGD（沿一阶方向）Newton（沿二阶方向）BFGS（居于一、二阶方向之间）L-BFGS通过一个例子来对比两种求参算法的区别
Titan0427·2018-02-04 21:35

深度学习: gradient diffusion (梯度弥散)

Introduction从文章《梯度弥散》摘来的一段话：梯度下降法（以及相关的L-BFGS算法等）在使用随机初始化权重的深度网络上效果不好的技术原因是：梯度会变得非常小。
JNingWei·2017-12-18 00:00

从牛顿法到L-BFGS的算法演变

对具体推导过程有兴趣的同学请访问原博主的博客~)  拟牛顿法是求解非线性优化问题最有效的方法之一，其中DFP方法，BFGS方法以及L-BFGS方法都是重要的拟牛顿法。
DASEason·2017-09-10 09:22

机器学习：利用卷积神经网络实现图像风格迁移 (三)

前面介绍了利用卷积神经网络实现图像风格迁移的算法原理和基于TensroFlow的代码实现，这篇博客对前面的代码做了一些改变，设置了一个imageresize函数，这样可以处理任意size的inputimage，而且我们尝试利用L-BFGS
Matrix_11·2017-01-13 16:15

机器学习：利用卷积神经网络实现图像风格迁移 (三)

前面介绍了利用卷积神经网络实现图像风格迁移的算法原理和基于TensroFlow的代码实现，这篇博客对前面的代码做了一些改变，设置了一个imageresize函数，这样可以处理任意size的inputimage，而且我们尝试利用L-BFGS
weixin_30614109·2017-01-13 16:00

系统学习机器学习之随机场(五)--CRF++源码L-BFGS算法补充

L-BFGS算法转自：http://blog.csdn.net/henryczj/article/details/41542049?
Eason.wxd·2016-12-26 11:12

多层感知机（MLP）算法原理及Spark MLlib调用实例（Scala/Java/Python）

多层感知机通过方向传播来学习模型，其中我们使用逻辑损失函数以及L-BFGS。K＋1层多层感知
liulingyuan6·2016-12-02 10:00

数值最优化：理解L-BFGS

数值最优化：理解L-BFGS数值最优化是很多机器学习中的核心，一旦你已经选定了模型和数据集，那么就需要通过数值最优化方法去最小化多元函数f(x)估计出模型的参数：x∗=argminf(x)通过求解上面的优化问题
zhihua_bupt·2016-05-07 11:58

数值最优化：理解L-BFGS

数值最优化：理解L-BFGS数值最优化是很多机器学习中的核心，一旦你已经选定了模型和数据集，那么就需要通过数值最优化方法去最小化多元函数f(x) 估计出模型的参数：x∗=argminf(x)通过求解上面的优化问题
geekmanong·2016-05-07 11:00

机器学习基础（五十九）—— 高级优化算法（L-BFGS、共轭梯度）

优化算法两大核心，一曰：方向，比如由负梯度方向给出；二曰：步长。迄今为止，我们的讨论都集中在使用梯度下降法来最小化J(θ)。如果你已经实现了一个计算J(θ)和∇θJ(θ)的函数，那么其实还有更精妙的算法来最小化J(θ)。举例来说，可以想象这样一个算法：它使用梯度下降，并能够自动调整学习速率α，以得到合适的步长值，最终使θ能够快速收敛到一个局部最优解。还有更妙的算法：比如可以寻找一个Hessian矩
lanchunhui·2016-04-29 10:00

梯度弥散

在深度神经网络中经常听说梯度弥散，下面就介绍一下，并搜集了当时的科学家是怎样避免的梯度弥散问题梯度下降法（以及相关的L-BFGS算法等）在使用随机初始化权重的深度网络上效果不好的技术原因是：梯度会变得非常小
Losteng·2016-03-30 23:00

梯度弥散

在深度神经网络中经常听说梯度弥散，下面就介绍一下，并搜集了当时的科学家是怎样避免的梯度弥散问题梯度下降法（以及相关的L-BFGS算法等）在使用随机初始化权重的深度网络上效果不好的技术原因是：梯度会变得非常小
losteng·2016-03-30 23:02

用java写bp神经网络（一）

矩阵运算采用jblas库，然后逐渐增加功能，支持并行计算，然后支持输入向量调整，最后支持L-BFGS学习算法。 上帝说，要有神经网络，于是，便有了一个神经网络。
·2015-11-13 11:21

牛顿法与拟牛顿法，DFP法，BFGS法，L-BFGS法

牛顿法 考虑如下无约束极小化问题： $$\min_{x} f(x)$$ 其中$x\in R^N$,并且假设$f(x)$为凸函数，二阶可微。当前点记为$x_k$,最优点记为$x^*$。 梯度下降法用的是一阶偏导，牛顿法用二阶偏导。以标量为例，在当前点进行泰勒二阶展开： $$\varphi(x)=f(x_k)+f'(x_k)(x-x_k)+\frac{1}{2}f''(x_k)(x-x_k)
·2015-11-13 11:19

牛顿法与拟牛顿法学习笔记（一）牛顿法

在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。
·2015-11-12 21:32

牛顿法与拟牛顿法学习笔记（二）拟牛顿条件

在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。
·2015-11-12 17:08

牛顿法与拟牛顿法学习笔记（三）DFP 算法

在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。
·2015-11-12 17:07

牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法

在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。
·2015-11-12 17:06

牛顿法与拟牛顿法学习笔记（四）BFGS 算法

在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。
·2015-11-12 17:06

Numerical Optimization: Understanding L-BFGS

http://aria42.com/blog/2014/12/understanding-lbfgs/ Numerical optimization is at the core of much of machine learning. Once you’ve defined your model and have a dataset ready, estimating the paramete
·2015-10-31 09:54

机器学习（六）梯度下降的优化算法和matlab/octave中的应用

文章链接： http://blog.csdn.net/lonelyrains/article/details/49027629为了分类，需要计算代价函数、代价函数关于参数的偏导数共轭梯度法、BFGS、L-BFGS
lonelyrains·2015-10-16 19:00

拟牛顿法 分析与推导

另外，在满足拟牛顿条件的基础上如何构造近似的海塞矩阵，这有很多种方法，比如：DFP算法，BFGS算法，L-BFGS算法以及Broy
liuwu265·2015-07-27 17:00

非线性优化库liblbfgs初探

blog.csdn.net/u012176591liblbfgs简介Linux下用gcc编译Windows下用visualstudio编译main函数分析python封装liblbfgsliblbfgs简介liblbfgs是L-BFGS
u012176591·2015-07-06 11:00

竞价广告系统-逻辑回归优化方法-L-BFGS

  逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。
·2015-06-30 16:00

竞价广告系统-逻辑回归优化方法-L-BFGS

逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。
94julia·2015-06-30 16:00

用L-BFGS法训练最大熵模型做分类

作者：金良（[email protected]）csdn博客：http://blog.csdn.net/u012176591defchangelabels(labels): #对标签进行处理，使得第一个标签为0，第二个标签为1，依次递增 index=0 labeldict=dict() foriinrange(np.shape(labels)[0]): iflabels[i]notin
u012176591·2015-06-10 00:00

优化算法——拟牛顿法之L-BFGS算法

公式可对上式进行变换，得到令，则得到：二、BGFS算法存在的问题在BFGS算法中，每次都要存储近似Hesse矩阵，在高维数据时，存储浪费很多的存储空间，而在实际的运算过程中，我们需要的是搜索方向，因此出现了L-BFGS
zhiyong_will·2015-06-06 17:57

优化算法——拟牛顿法之L-BFGS算法

公式可对上式进行变换，得到令，则得到：二、BGFS算法存在的问题  在BFGS算法中，每次都要存储近似Hesse矩阵，在高维数据时，存储浪费很多的存储空间，而在实际的运算过程中，我们需要的是搜索方向，因此出现了L-BFGS
google19890102·2015-06-06 17:00

梯度-牛顿-拟牛顿优化算法和实现

准则最速下降法及其Python实现牛顿法阻尼牛顿法及其Python实现修正牛顿法法及其Python实现拟牛顿法DFP算法及其Python实现BFGS算法及其Python实现Broyden族算法及其Python实现L-BFGS
u012176591·2015-05-30 10:00

L-BFGS算法

为了解决这个问题，就有了L-BFGS算法。Contents1.L-BFGS算法介绍2
ACdreamers·2015-03-29 18:23

L-BFGS算法

为了解决这个问题，就有了L-BFGS算法。Contents1.L-BFGS算法介绍2
ACdreamers·2015-03-29 18:23
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他