最优化方法

国科大-算法中的最优化方法-林

2024国科大-算法中的最优化方法-林刚考完，把复习资料也发出来，学弟学妹可以参考学习一下。总的来说不是很难，由于开卷转闭卷的原因，大部分都是原题，在ppt以及网上都能找到。
手板心里煎鱼吃·2025-01-29 21:57

[01] 动态规划解题套路框架

动态规划其实是运筹学的一种最优化方法，只不
_魔佃_·2024-09-12 06:06

最优化方法Python计算：一元函数搜索算法——二分法

设一元目标函数f(x)f(x)f(x)在区间[a0,b0]⊆R[a_0,b_0]\subseteq\text{R}[a0,b0]⊆R（其长度记为λ\lambdaλ）上为单峰函数，且在(a0,b0)(a_0,b_0)(a0,b0)内连续可导，即其导函数f′(x)f'(x)f′(x)在(a0,b0)(a_0,b_0)(a0,b0)内连续。在此增强的条件下，可以加速迭代计算压缩区间的过程。仍然设置计算精
戌崂石·2024-09-07 20:07

机器学习最优化方法之梯度下降

1、梯度下降出现的必然性利用最小二乘法求解线性回归的参数时，求解的过程中会涉及到矩阵求逆的步骤。随着维度的增多，矩阵求逆的代价会越来越大，而且有些矩阵没有逆矩阵，这个时候就需要用近似矩阵，影响精度。另外，在绝大多数机器学习算法情况下(如LR)，损失函数要复杂的多，根本无法得到参数估计值的表达式。因此需要一种更普适的优化方法，这就是梯度下降。其实随机梯度下降才是实际应用中最常用的求解方法，但是其基础
whemy·2024-08-25 17:45

深度学习之反向传播算法（backward()）

文章目录概念算法的思路概念反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。
Tomorrowave·2024-02-20 01:27

机器学习-梯度下降法

不是一个机器学习算法是一种基于搜索的最优化方法作用：最小化一个损失函数梯度上升法：最大化一个效用函数并不是所有函数都有唯一的极值点解决方法：多次运行，随机化初始点梯度下降法的初始点也是一个超参数代码演示
小旺不正经·2024-02-07 11:56

最优化理论习题（与考试相关）

文章目录凸集与凸函数的证明单纯形方法对偶问题对偶单纯形法最优性条件使用导数的最优化方法凸集与凸函数的证明凸函数证明就是求HessianHessianHessian矩阵是否为正定矩阵即可单纯形方法对偶问题对偶单纯形法最优性条件使用导数的最优化方法
ˇasushiro·2024-01-28 17:30

最优化方法之梯度下降法和牛顿法

大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。最常见的最优化方法有梯度下降法、牛顿法。
thatway1989·2024-01-28 12:00

进化计算——求解优化问题（一）

二、优化问题分类1.依据目标数量分类2.依据变量类型分类3.依据约束条件分类三、优化问题的数学模型四、最优化方法1.两者对比-求解步骤2.两者对比-优缺点五、生物学遗传进化观点进化计算的一般步骤：六、遗传算法
_hermit:·2024-01-19 02:14

梯度下降法（Gradient Descent）

梯度下降法批量梯度下降法随机梯度下降法scikit-learn中的随机梯度下降法小批量梯度下降法梯度下降法梯度下降法，不是一个机器学习算法（既不是再做监督学习，也不是非监督学习，分类、回归问题都解决不了），是一种基于搜索的最优化方法
Debroon·2024-01-10 03:23

凸优化 3：最优化方法

凸优化3：最优化方法最优化方法适用场景对比费马引理一阶优化算法梯度下降最速下降二阶优化算法牛顿法Hessian矩阵Hessian矩阵的逆Hessian矩阵和梯度的区别牛顿法和梯度下降法的区别拟牛顿法DFP
Debroon·2024-01-10 03:21

参数更新方法 初始值 抑制过拟合 Batch Normalization等 《深度学习入门》第六章

深度学习入门基于Python的理论实现subtitle:第六章与学习相关的技巧tags:[Machinelearning,Reading]第六章与学习相关的技巧本章像是一个补充，主题涉及寻找最优权重参数的最优化方法
Dirac811·2024-01-08 05:11

【最优化方法】对称矩阵的对角化

文章目录正交化方法示例矩阵正交化正交化方法设RnR^nRn中线性无关组a1,a2,a3,…,ana_1,a_2,a_3,\dots,a_na1,a2,a3,…,an，令β1=α1β2=α2−[α2β1]∣∣β1∣∣β1β3=α3−[α3β1]∣∣β1∣∣β1−[α3β2]∣∣β2∣∣β2βn=α3−[αnβ1]∣∣β1∣∣β1−⋯−[αnβn−1]∣∣βn−1∣∣βn−1\begin{aligne
撕得失败的标签·2024-01-07 20:01

【最优化方法】无约束优化问题（最速下降法、牛顿法、最小二乘）

文章目录最速下降法示例牛顿法阻尼牛顿法示例最小二乘问题最速下降法最速下降法（SteepestDescentMethod）是一种基于负梯度方向进行迭代的最优化算法，用于寻找一个函数的最小值。该方法也被称为梯度下降法，是一种迭代的一阶优化算法。算法的基本思想是从当前点出发，沿着当前点的负梯度方向，以一定的步长（学习率）移动到新的点，重复这个过程直至达到停止条件。下面是最速下降法的基本步骤：给出x0∈R
撕得失败的标签·2024-01-07 20:00

【最优化方法】约束最优化问题

文章目录不等式约束问题可行方向线性化可行方向序列可行方向KKT定理示例等式约束问题二次罚函数方法示例不等式约束问题考虑约束最优化问题min⁡f(x)s.t.ci(x)=0,i=1,2,⋯ ,m′,ci(x)⩾0,i=m′+1,m′+2,⋯ ,m,\begin{aligned}\min&\quadf(x)\\\mathrm{s.t.}&\quadc_i(x)=0,\quadi=1,2,\cdots,
撕得失败的标签·2024-01-07 20:00

【最优化方法】无约束优化问题（函数梯度、下降方向、最优性）

文章目录下降方向下降方向与梯度关系例题偏导数方向导数梯度（导数）下降方向最优性条件一阶必要条件二阶必要条件二阶充分条件无约束凸规划的最优性条件我们把一元方程推广到nnn维无约束极小化问题，得到解无约束优化问题min⁡x∈Rnf(x)\min_{x\in\mathbf{R}^n}f(x)x∈Rnminf(x)下降方向设f(x)f(x)f(x)为定义在空间Rn\mathbf{R}^nRn上的连续函数，
撕得失败的标签·2024-01-07 20:28

最优化方法Python计算：无约束优化应用——神经网络分类模型

Hello，2024.用MLPModel类（详见博文《最优化方法Python计算：无约束优化应用——神经网络回归模型》）和Classification类（详见博文《最优化方法Python计算：无约束优化应用
戌崂石·2024-01-07 17:47

【最优化方法】凸优化基本概念

文章目录凸优化（ConvexOptimization）凸集（ConvexSet）凸集合的运算（OperationsonConvexSets）凸函数（ConvexFunction）凸优化问题（ConvexOptimizationProblem）凸优化（ConvexOptimization）凸优化问题具有许多重要的性质，使得其在理论和实践中都得到广泛应用。这些性质包括全局最优解的存在性、局部最优解即为
撕得失败的标签·2024-01-01 06:17

【最优化方法】凸二次优化

文章目录凸函数的判别凸二次优化海森矩阵（Hessianmatrix）判断函数凹凸性示例凸函数的判别设S⊂RnS\subsetR^nS⊂Rn是非空开凸集，f:S→Rf:S\rightarrowRf:S→R可微，则（1）fff是SSS上的凸函数，当且仅当f(x2)⩾f(x1)+∇f(x1)T(x2−x1),∀x1,x2∈Sf(x_2)\geqslantf(x_1)+\nablaf(x_1)^T(x_2
撕得失败的标签·2024-01-01 06:17

【最优化方法】矩阵的二次型

文章目录矩阵二次型的定义正定性、负定性、半定性和不定性示例矩阵二次型的定义矩阵的二次型是一个与矩阵和向量相关的二次多项式。对于一个实数域上的二次型，给定一个n×nn×nn×n的对称矩阵AAA和一个列向量xxx（xxx是一个n×1n×1n×1的列向量），其二次型定义为：Q(x)=xTAxQ(x)=x^TAxQ(x)=xTAx这个二次型表示可以更详细地展开为：Q(x)=∑i=1n∑j=1naijxiy
撕得失败的标签·2024-01-01 06:15

最优化方法Python计算：无约束优化应用——神经网络回归模型

我们在博文《最优化方法Python计算：无约束优化应用——逻辑回归模型》中讨论的逻辑回归模型（如下图(b)所示）与神经元十分相似，由输入端接收数据x=(x1x2⋮xn)\boldsymbol{x}=\begin
戌崂石·2023-12-31 13:58

最优化方法Python计算：无约束优化应用——逻辑分类模型

逻辑回归模型更多地用于如下例所示判断或分类场景。例1某银行的贷款用户数据如下表：欠款（元）收入（元）是否逾期17000800Yes220002500No350003000Yes440004000No520003800No显然，客户是否逾期（记为yyy）与其欠款额（记为x1x_1x1）和收入（记为x2x_2x2）相关。如果将客户逾期还款记为1，未逾期记为0，我们希望根据表中数据建立R2→{0,1}\
戌崂石·2023-12-30 16:08

最优化方法Python计算：无约束优化应用——逻辑回归模型

S型函数sigmoid(x)=11+e−x\text{sigmoid}(x)=\frac{1}{1+e^{-x}}sigmoid(x)=1+e−x1将全体实数R\text{R}R映射到(0,1)(0,1)(0,1)，称为逻辑函数。其图像为该函数连续、有界、单调、可微，性质量好。拟合函数为F(w;x)=sigmoid((x⊤,1)w)=11+e−(x⊤,1)wF(\boldsymbol{w};\bo
戌崂石·2023-12-29 12:43

机器学习中常用的矩阵公式

模型学习的过程是求使得loss函数L(f(x),y)最小的参数，这是一个优化问题，一般采用和梯度相关的最优化方法，如梯度下降。一、矩阵迹的定义矩阵的迹：就是矩阵的主对角线上所有元素的和。
ᝰꫛꪮꪮꫜ hm·2023-12-29 11:38

算法中的最优化方法与实现（第4课 二次型规划的有效集法）

一、学习目标1.学习有效集法如何求解二次型规划问题二、问题描述三、算法思想1.在每次迭代中，我们都以已知的可行点为起点，把在该点起作用约束作为等式约束，在此约束下极小化目标函数f（x），其余的约束暂且不管，求得比较好的可行点后，再重复以上做法。2.原理推导：（1）对每一步迭代中，定义好现今的问题：（2）修改输入x和f（x）函数，原问题也发生变化：（3）确定下一个可行点的条件：（4）如果不是可行点，
komjay·2023-12-29 09:44

算法中的最优化方法与实现 (第5 6课 无约束的非线性规划)

一、学习目标1.了解非线性问题的标准形式和各种求解方法2.学习牛顿法和拟牛顿法3.学习方向测定-线性最小方法4.学习各种搜索法二、非线性问题1.非线性问题的规范式相比于前两种问题，会显得十分简单：需要注意：这节课先讨论没有约束条件的非线性问题，这样能保证我们在使用后续算法进行自由的搜索。2.求解算法分三类：第一类是以牛顿法为主体的方法；第二类是通过方向测定和线性优化的方法进行优化；第三类是不进行求
komjay·2023-12-29 09:44

算法中的最优化方法和实现 (第7课 有约束的非线性规划)

一、学习目标根据约束条件的类型，将问题分为4类：线性等式、非线性等式、线性不等式、非线性不等式。学习对于不同的问题，使用不同的方法进行求解。统一的思想都是消解法，即消去约束条件，将有约束的问题转化为无约束的问题，再进行求解。注意：我们说的非线性规划，说的是目标函数是非线性的，而上面讲的线性和非线性，指的是约束函数。二、线性等式约束的非线性规划对于等式约束，我们可以通过映射法将约束条件约去。原理就是
komjay·2023-12-29 09:44

算法中的最优化方法与实现（第3课 二次型规划）

一、学习目标1.了解二次型问题的内容2.了解改进单纯形法解决二次型问题的过程二、二次型问题1.与线性问题相同，二次型问题的描述形式也有两类（type1：一般形式，type2：标准形式）：其中H矩阵是二次项的参数矩阵，该项会直接导致整个模型是否存在最优解的问题。下面展示几个特殊二次项的图像：下面左图存在多个极值点，右图则不存在最优值：2.关于将一般形式转化为标准形式，其方式与线性问题一样：三、改进单
komjay·2023-12-29 09:14

最优化方法Python计算：无约束优化应用——回归模型的测试

实践中，除了用训练数据训练回归模型，使用线性回归模型做预测前，通常需要对训练结果进行测试。所谓测试指的是用另一组带有标签的数据数据集(xi⊤,yi),i=1,2,⋯ ,m(\boldsymbol{x}^\top_i,y_i),i=1,2,\cdots,m(xi⊤,yi),i=1,2,⋯,m，用训练所得的最优模式w0\boldsymbol{w}_0w0，得预测值yi′y'_iyi′，i=1,2,⋯ 
戌崂石·2023-12-29 05:56

最优化方法Python计算：信赖域算法

作为求解目标函数f(x)f(\boldsymbol{x})f(x)无约束优化问题的策略之一的信赖域方法，与前讨论的线性搜索策略略有不同。线性搜索策略是在当前点xk\boldsymbol{x}_kxk处先确定搜索方向dk\boldsymbol{d}_kdk，再确定在该方向上的搜索步长αk\alpha_kαk。以此计算下一步搜索点xk+1=xk+αkdk.\boldsymbol{x}_{k+1}=\b
戌崂石·2023-12-29 05:55

最优化方法Python计算：BFGS算法

按秩1法（详见博文《最优化方法Python计算：秩1拟牛顿法》）计算的修正矩阵Qk+1=Qk+Ek\boldsymbol{Q}_{k+1}=\boldsymbol{Q}_k+\boldsymbol{E}
戌崂石·2023-12-29 05:25

最优化方法Python计算：无约束优化应用——线性回归模型

回归算法是典型的监督学习模型之一。回归是一种统计学方法，用于根据样本数据(xi,yi)(\boldsymbol{x}_i,y_i)(xi,yi)，i=1,2,⋯ ,mi=1,2,\cdots,mi=1,2,⋯,m，探究变量x\boldsymbol{x}x与yyy之间的关系。具体而言，回归模型的任务是找出拟合函数F(x)F(\boldsymbol{x})F(x)，使得yi≈F(xi),i=1,2,⋯
戌崂石·2023-12-29 05:53

算法中的最优化方法课程复习

算法中的最优化方法课程复习单模函数、拟凸函数、凸函数证明证明一个线性函数与一个凸函数的和也是凸的梯度线性规划标准形式以及如何标准化标准形式常见标准化方法线性化技巧单纯形法二次规划无约束优化Nelder-Mead
Kilig*·2023-12-24 06:53

神经网络：深度学习基础

1.反向传播算法（BP）的概念及简单推导反向传播（Backpropagation，BP）算法是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见算法。
是Dream呀·2023-12-23 20:38

变分自编码器（VAE）初识

它基于反向传播算法与最优化方法（如梯度下降法），AE（Auto-Encoder）的架构可以如下所示;记XXX为整个数据集的集合，xix_{i}xi是数据集中的一个样本。自编码
碧蓝的天空丶·2023-12-18 08:38

[最优化理论] 梯度下降法 + 精确线搜索（单峰区间搜索 + 黄金分割）C++ 代码

，最后的输出是latex的表格的一部分具体内容就是梯度下降法+精确线搜索（单峰区间搜索+黄金分割）从书本的Matlab代码转译过来的其实，所以应该是一看就懂了这里定义了两个测试函数fun和fun2整个最优化方法包装在
hijackedbycsdn·2023-12-03 22:30

强化学习基础-马尔可夫决策过程（Markov Decision Process，MDP）

它基于马尔可夫性质，通过定义状态、行动、转移概率函数和奖励函数来描述决策过程，并通过最优化方法来求解最优策略。本文将详细介绍马尔可夫决策过程的原理和数学公式。
RRRRRoyal·2023-11-29 12:47

深度学习的优化：理论和算法《Optimization for deep learning: theory and algorithms》论文阅读笔记-4.训练神经网络的通用算法

5.训练神经网络的通用算法前面讨论了一些神经网络的特定tricks，这些小技巧需要结合最优化方法，如SGD。通常我们希望得到一个快速且表现好的方法。
数据小新手·2023-11-24 12:18

最优化理论

最优化理论资料一optimalcondition最优性条件概念二一维搜索逐次下降法iterativedecent单峰函数二分法dichotomoussearch三资料B站最优化理论与算法上交最优化方法一目标函数
HI_Forrest·2023-11-23 14:25

机器学习中的最优化方法-以梯度下降为例

机器学习中的最优化方法最优化方法就是寻找函数的极值点。机器学习和深度学习模型的训练本质上就是在通过已有的数据拟合一个函数，使这个函数能尽可能地反应出数据的内在规律，从而能更好的预测给定输入的输出结果。
正丶好·2023-11-19 00:04

第一章 最优化理论基础

内容来自马昌凤编著的《最优化方法及其Matlab程序设计》，文章仅为个人的学习笔记，感兴趣的朋友详见原书1最优化问题的数学模型简单来说，最优化问题就是求一个多元函数在某个给定集合上的极值，其一般表达为：
是璇子鸭·2023-11-17 16:01

最优化算法的简单基础介绍（主要侧重于二次规划（QP）的问题优化）

最优化方法相当于一门学科，大多为求最大值最小值。
Lu_gl·2023-11-17 16:58

【优化方法学习笔记】第三章：约束最优化方法

本章目录1.约束最优化问题1.1约束最优化问题的一般形式1.2可行方向与可行下降方向1.3起作用指标集2.KKT条件3.二次规划3.1二次规划的一般形式3.2等式约束二次规划3.3起作用指标集方法4.惩罚函数法与障碍函数法4.1惩罚函数法4.2障碍函数法4.3混合罚函数法5.增广拉格朗日函数法1.约束最优化问题1.1约束最优化问题的一般形式约束最优化问题的一般形式为min⁡f(x)s.t.hi(x
-YueLin-·2023-11-16 14:56

自己动手实现一个深度学习算法——六、与学习相关的技巧

文章目录1.参数的更新1）SGD2）Momentum3）AdaGrad4）Adam5）最优化方法的比较6）基于MNIST数据集的更新方法的比较2.权重的初始值1）权重初始值不能为02）隐藏层的激活值的分布
千里之行起于足下·2023-11-16 06:14

主成分分析（Principal Component Analysis,PCA）

1mXXTC=\frac1mXX^TC=m1XXT3.求出协方差矩阵的特征值和特征向量4.将特征向量按对应的特征值的大小从上到下按行排列成矩阵，取前k行组成矩阵P5.Y=PXY=PXY=PX即为降维后的数据最优化方法
孤嶋·2023-11-14 03:57

优化理论笔记

目录一、前言二、优化问题的基本要素三、优化问题分类四、最优值类型五、最优化方法分类六、非约束优化1、问题定义2、优化算法1）一般局部搜索过程2）集束搜索3）禁忌搜索4）模拟退火5）蛙跳算法3、例子测试问题七
吕飞雨的头发不能秃·2023-11-10 06:56

【机器学习基础】优化算法详解

导语在学习机器学习的过程中我们发现，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数(或损失函数)进行优化，从而训练出最好的模型，梯度下降是最基本的优化算法。
风度78·2023-11-10 04:08

详解机器学习最优化算法

因此，最优化方法在机器学习算法的推导与实现中占据中心地位。在这篇文章中，小编将对机器学习中所使用的优化算法做一个全面的总结，并理清它们直接的脉络关系，帮你从全局的高度来理解这一部分知识。
金戈鐡馬·2023-11-10 04:35

算法理论笔记

算法理论笔记最优化方法正则化EM算法偏差方差马尔科夫链蒙特卡罗法矩阵子空间主成分分析决策树boost支持向量机朴素贝叶斯神经网络卷积神经网络循环神经网络推荐系统最优化方法微分方法根据极值必要条件，求f′
__Akira__·2023-11-06 13:22

最优化方法(学习笔记)-第六章逼近与拟合

文章目录范数逼近和最小范数观测m≥\geq≥未知n范数逼近的定义及解释罚函数逼近观测m≤\leq≤未知n最小范数问题最小罚函数问题正则化逼近正则化理解标量化问题TikhonovregularizationOptimalinputdesignSignalreconstruction信号恢复稳健/鲁棒逼近stochastic随机worst-case最坏对比Robustapproximation总结范数
oliveQ·2023-11-02 08:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他