凸优化

深度学习 常见优化器

一、基础优化器随机梯度下降（SGD）•核心：∇θJ(θ)=η*∇θJ(θ)•特点：学习率固定，收敛路径震荡大•适用场景：简单凸优化问题•改进方向：动量加速二、动量系优化器2.SGDwithMomentum
Humingway·2025-03-14 07:13

支持向量机 SVM 简要介绍

是定义在Rn上的连续可微函数，考虑以下最优化问题：$$\min_{x\inR^n}{f(x)}\c_i(x)\leq0,i=1,2,\dots,k\h_j(x)=0,j=1,2,\dots,l$$是一个凸优化问
_夜空的繁星_·2025-03-10 06:16

支持向量机SVM原理详解

SVM原理详解1、超平面2、SVM原理1.问题定义2.分类决策得到约束条件3.最大化间隔4.优化目标3、凸优化问题1.原始优化问题优化目标约束条件2.拉格朗日乘子法3.拉格朗日函数分析4.求解对www和
handsomeboysk·2025-02-24 02:57

Python-玩转数据-凸优化

一、说明最优化问题目前在机器学习，数据挖掘等领域应用非常广泛，因为机器学习简单来说，主要做的就是优化问题，先初始化一下权重参数，然后利用优化方法来优化这个权重，直到准确率不再是上升，迭代停止，那到底什么是最优化问题呢？比如你要从上海去北京，你可以选择搭飞机，或者火车，动车，但只给你500块钱，要求你以最快的时间到达，其中到达的时间就是优化的目标，500块钱是限制条件，选择动车，火车，或者什么火车都
人猿宇宙·2025-02-06 02:35

凸优化学习

认为学习凸优化理论比较合适的路径是：学习/复习线性代数和（少量）高等数学的知识。实际上，凸优化理论综合使用了线性代数和微积分的相关知识，比如方向导数，雅克比矩阵，海森矩阵，KKT条件等。
qiaoxinyu10623·2025-01-20 04:44

凸优化学习之旅

目录标题专业名词MM算法CCP算法：代码说明SCA算法：连续松弛梯度投影算法分支定界搜索法凸问题辨别OA算法λ-representationADMM算法代码说明BCD算法BCD（BlockCoordinateDescent）代码示例与ADMM的区别总结2024年5月6日15:15:26专业名词DC问题：DifferenceofConvex。Difference理解为差，convex是凸，DC问题就
还有你Y·2024-09-04 06:13

运筹系列35：凸优化接口cvxpy

1.凸优化问题1.1QP问题目标函数二阶，约束一阶，称为Quadraticprogramming1.2.QCQP目标二阶，约束二阶，QuadraticalConstraintQuadraticProgramming
IE06·2024-02-20 01:40

基于 Python 和 cvxpy 求解 SOCP 二阶锥规划问题

cvxpy:Python功能包，为凸优化提供方便使用的用户接口，适配多种求解器SOCP:Second-OrderConeProgramming，二阶锥规划convexoptimization-凸优化，nonlinearoptimization
- Easy·2024-02-20 01:39

机器学习 | 凸/非凸目标函数 |非凸目标函数导致求解陷入局部最优

凸优化问题是指χ\chiχ是闭合的凸集且f是χ\chiχ上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非
stone_fall·2024-02-12 11:04

Task10-向前分布算法和梯度提升决策树

通常情况下这是一个复杂的优化问题，很难通过简单的凸优化的相关知识进行解决。
沫2021·2024-02-10 09:42

优化｜复杂度分析——用于凸约束非凸优化问题的光滑化近似点增广拉格朗日算法

1.简介对于无约束的非凸优化问题，算法复杂度的下界为Ω(1/ϵ2)\Omega(1/\epsilon^2)Ω(1/ϵ2)；在目标函数光滑时，这个下界可以通过标准梯度下降算法来取到.对于带约束的非凸优化问题
运筹OR帷幄·2024-02-09 08:36

03 凸优化理论-凸函数

03凸函数目录3.1凸函数的定义、性质（凸函数的判定）、示例3.2保凸运算3.4拟凸函数3.5对数凸函数3.3共轭函数3.6关于广义不等式的凸性3.1凸函数的定义、性质和例子（一）凸函数的定义&扩展值延伸3.1.1定义Def1凸函数的定义、几何含义定理1：仿射函数等价于既凸又凹函数。定理2(凸性由函数在直线上的性质刻画)*：凸函数的充要条件是与其定义域相交的任何直线上都是凸的。（可以将函数限制在直
Jay Morein·2024-02-06 12:21

凸优化问题：基础定义

“一旦将一个实际问题表述为凸优化问题，大体上意味着相应问题已经得到彻底解决，这是非凸的优化问题所不具有的性质。”
TensorME·2024-01-26 16:28

深度学习|拉格朗日对偶及KKT条件推导

每个研究人员都试图通过自己的方法将研究推进的更深入一些，在理论研究的深层次上，离不开鲁棒优化，包括两阶段鲁棒优化、分布鲁棒优化算法等，鲁棒优化的基础知识是拉格朗日对偶和KKT条件，给大家推荐个课程——凌青老师的《凸优化
科研工作站·2024-01-24 08:13

CVX工具包（for matlab）

CVX工具包（formatlab）CVX是斯坦福的教授StephenP.Bold等人开发的一个基于Matlab的凸优化工具包，能够解决诸如线性规划，二次规划，整数规划（需要license)等等优化问题，
夕夕夕夕嘻嘻嘻嘻·2024-01-22 01:12

Matlab中CVX工具箱使用

Matlab中CVX工具箱使用CVX是一个凸优化解决工具，需要在Matlab上使用。CVX让Matlab变成一个模型语言，可以使用Matlab的标准语法完成优化问题的求解。
Upsame·2024-01-22 01:12

【笔记】认识凸优化

凸优化凸优化是一类特殊的数学优化问题，其基本思路是凸优化的基本思路是通过利用凸性质，将优化问题转化为在凸集上定义的凸函数的最优化问题，从而能够借助凸优化的理论和算法来高效求解。
假装有头像·2024-01-19 10:55

自动驾驶轨迹规划之碰撞检测（二）

欢迎大家关注我的B站：偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频(bilibili.com)目录1.基于凸优化2.具身足迹3.ESDF自动驾驶轨迹规划之碰撞检测（
无意2121·2024-01-17 05:46

深度学习数学知识点

一、线性代数二、概率论三、微积分四、凸优化参考资料一、线性代数书籍&视频李宏毅线性代数MITLinearAlgebra知识点1）线性空间及线性变换2）矩阵的基本概念3）状态转移矩阵4）特征向量5）矩阵的相关乘法
搬砖成就梦想·2024-01-13 16:13

凸优化—常见分式规划解决方法及代码实现

分式规划是凸优化中常见的问题，例如最大化能效等。这篇博客介绍了single-ratio分式规划的二种常见方法。
兜兜转转m·2024-01-13 14:38

凸优化: 障碍函数法

例题：求解过程：以上都是笔者个人学习方法，如有不妥之处，欢迎大家批判指正，后续有时间，笔者会分享更多的凸优化学习方法给大家。
QQ_AHAO·2024-01-13 12:07

凸优化: 惩罚函数之内罚函数法（等式消除的newton法，一般约束问题的障碍函数法）

目录0.说明：1.等式约束的newton法：2.障碍函数法0.说明：相信不少小伙伴在学习内罚函数时会遇到不少障碍，接下来我将从结合个人学习过程，通过例题给小伙伴们讲解一下自己的见解，因为其理论知识在《凸优化
QQ_AHAO·2024-01-13 12:06

深度卷积神经网络

(3)凸优化问题(4)漂亮的定理丢弃法的作用就是因为模型太大了，使用它来对模型做正则。
sendmeasong_ying·2024-01-13 06:42

凸优化Convex Optimization期末复习重点和考试笔记（一）凸集+凸函数

最近被凸优化考试整疯了，梳理出来一些复习重点和知识点笔记，希望能够帮助到有缘人！总共有四章重点，我分两个博客放哈～第一部分：凸集第二部分：凸函数以上是凸集和凸函数两章的期末复习笔记。
Q小Q琪·2024-01-11 18:47

凸优化Convex Optimization期末复习重点和考试笔记（二）凸优化+对偶

接博客【凸优化ConvexOptimization期末复习重点和考试笔记（一）凸集+凸函数】第三部分：凸优化第四部分：对偶几种典型的凸函数以上就是凸优化和对偶函数部分，以及几种常见的凸函数。
Q小Q琪·2024-01-11 18:15

【凸优化】【长链剖分】【2019冬令营模拟1.8】tree

SOLUTION这是一道综合的题目，考察凸优化、长链剖分、树形DP、以及关于数组空间的优化首先引进凸优化凸优化就是关于答案可以表示成一个凸函数f(x)，x是题目给出的参数，并且这个函数的斜率成下降的趋势
YiPeng_Deng·2024-01-11 15:05

MATLAB中CVX工具箱解决凸优化问题的基本知识——语法、变量声明、目标函数、约束条件、cvx编程错误及解决方法

如何生成可参考右边的帮助文档文章目录前言一、语法二、变量声明三、目标函数四、约束条件五、函数六、cvx特有的数学运算表达式七、常见错误八、进阶阅读参考资料前言本文是在最近学习MATLABCVX工具箱解决凸优化问题时学到的一些知识点
小易吾·2024-01-10 06:09

凸优化 3：最优化方法

凸优化3：最优化方法最优化方法适用场景对比费马引理一阶优化算法梯度下降最速下降二阶优化算法牛顿法Hessian矩阵Hessian矩阵的逆Hessian矩阵和梯度的区别牛顿法和梯度下降法的区别拟牛顿法DFP
Debroon·2024-01-10 03:21

一句话总结卷积神经网络

训练时依然采用了反向传播算法，求解的问题不是凸优化问题。和全连接神经网络一样，卷积神经网络是一个判别模型，它既可以用于分类问题，也可以用用于回归问题，并且支持多分类问题。
城市中迷途小书童·2024-01-09 00:48

一篇文章讲清楚凸优化问题

本篇文章摘录自数模百科——支持向量机模型-凸优化问题。你是一个快递公司的老板，你们公司有三种车型：小货车，中型卡车和大货车。每种车型都有它的优点和缺点。
小树modelwiki·2024-01-08 00:28

【数模百科】支持向量机中的线性SVM讲解以及实现办法

一篇文章讲清楚凸优化问题-CSDN博客快速理解对偶问题-CSDN博客支持向量机SVM模型里的二元线性分类是什么-CSDN博客支持向量机SVM中的核技巧（核函数）应该怎么理解-CSDN博客读完之后，我们开始今天的内容
小树modelwiki·2024-01-08 00:27

Convex Formulation for Learning from Positive and Unlabeled Data

UnbiasedPUlearning.该论文在之前PUlearning中使用非凸函数作为loss的基础上，对正类样本和未标记样本使用不同的凸函数loss，从而将其转为凸优化问题。
zealscott·2024-01-06 12:52

最优化理论期末复习笔记 Part 2

数学基础线性代数从行的角度从列的角度行列式的几何解释向量范数和矩阵范数向量范数矩阵范数的更强的性质的意义几种向量范数诱导的矩阵范数1范数诱导的矩阵范数无穷范数诱导的矩阵范数2范数诱导的矩阵范数各种范数之间的等价性向量与矩阵序列的收敛性函数的可微性与展开一维优化问题牛顿莱布尼茨公式对多维的拓展Lipschitz连续中值定理凸优化问题凸函数的判断
hijackedbycsdn·2024-01-04 23:21

Convex optimization 3.1 --- 凸优化问题 part1

从这章开始认识凸优化问题。其中，关于各种典型的类别的凸优化问题，主要参考了[2]。
expectmorata·2024-01-04 12:52

最优化理论期末复习笔记 Part 1

数学基础线性代数从行的角度从列的角度行列式的几何解释向量范数和矩阵范数向量范数矩阵范数的更强的性质的意义几种向量范数诱导的矩阵范数1范数诱导的矩阵范数无穷范数诱导的矩阵范数2范数诱导的矩阵范数各种范数之间的等价性向量与矩阵序列的收敛性函数的可微性与展开一维优化问题牛顿莱布尼茨公式对多维的拓展Lipschitz连续中值定理凸优化问题凸函数的判断
hijackedbycsdn·2024-01-04 09:42

机器学习&深度学习基础

学习路线第一步：数学主要为微积分、概率统计、矩阵、凸优化第二步：数据结构/算法常见经典数据结构（比如字符串、数组、链表、树、图等）、算法（比如查找、排序）同时，辅助刷leetcode，提高编码codin
AI小白龙*·2024-01-03 07:48

【最优化方法】凸优化基本概念

文章目录凸优化（ConvexOptimization）凸集（ConvexSet）凸集合的运算（OperationsonConvexSets）凸函数（ConvexFunction）凸优化问题（ConvexOptimizationProblem
撕得失败的标签·2024-01-01 06:17

【Python百宝箱】优化 Python 中的科学计算与建模：从 SymPy 到 Optuna

提供的符号计算，到scikit-optimize的贝叶斯优化，再到NumPy和SciPy的数值计算和统计建模，以及利用Statsmodels进行回归分析和时间序列分析，再到PyMC3的贝叶斯统计建模，CVXPY的凸优化建模
friklogff·2023-12-30 14:51

Matlab中凸优化工具包CVX的配置、注册与使用

CVX是基于Matlab的建模系统，用于处理凸优化问题。如果掌握好了，非常方便。选择适合自己电脑的版本，我的电脑是64位，因此是下载cvx-w64.CVX不需要安装，只需要配置一下，特别简单。
Echo_Mz·2023-12-27 11:00

凸优化问题求解（2）

目录3.内点法3.1线性规划的内点法4.等式约束凸优化问题4.1解空间法4.2对偶方法5.等式约束凸优化问题的Netwon法5.1等式约束凸二次规划的精确解5.2基于局部二次近似的Newton法3.内点法
碧蓝的天空丶·2023-12-24 18:36

凸优化 2：如何判定凸函数？

凸优化2：如何判定凸函数？如何判断一个目标函数是凸函数？如果是凸函数，那ta的定义域是凸集合一个函数求俩次梯度，大于等于0，那这个函数就是一个凸函数在同样条件下，怎么设计为凸函数模型？
Debroon·2023-12-24 04:51

网络优化与正则化

引言网络优化高维变量的非凸优化神经网络优化的改善方法优化算法梯度下降法小批量梯度下降批量大小选择学习率调整AdaGrad算法RMSprop算法AdaDelta梯度修正估计动量法Nesterov加速梯度Adam
guanyue.space·2023-12-23 02:49

机器学习——支持向量机（SVM）

支持向量机思想直观，但细节复杂，涵盖凸优化，核函数，拉格朗日算子等理论。1.2支持向量机类分类1.3支持向量机的优缺点优点：支持向量机算法可以解决小样本
Windsky23·2023-12-22 11:04

人工智能之数学(三) ------ 凸优化

一.机器学习中的优化问题损失函数:模型与实际数据匹配程度越好,损失函数就越小,如果相差较大,损失函数也会相对比较大正则化函数:模型很复杂,对于训练数据拟合性很好,但是对于未见过的数据拟合较差,因此可通过正则化的函数控制模型的复杂度,避免模型过于拟合训练数据,对于新来的数据有泛化的能力实例:数学优化的形式化:通过数学的建模来求解问题,数学的优化可归纳成标准形式,入下图所示:首先需要最小化函数f0(x
千喜Ya·2023-12-20 08:45

对偶问题笔记（2）

目录4.凸优化问题之强对偶性的Slater条件5.约束转换对对偶性的影响5.1函数有限值约束转换为集约束5.2代数约束转换为集约束6.对偶的对偶7.仿射约束优化问题的对偶函数的计算Reference4.
碧蓝的天空丶·2023-12-20 03:17

优化问题笔记（2）

目录3.约束优化问题的全局解3.1凸优化问题3.2二次优化问题3.3无约束二次优化问题3.4一个典型的二次等式约束二次优化问题Reference3.约束优化问题的全局解3.1凸优化问题局部解成为全局解的一类重要的优化问题是所谓凸优化问题
碧蓝的天空丶·2023-12-20 03:46

凸优化问题求解

这里写目录标题1.线性规划基本定理二级目录三级目录1.线性规划基本定理首先我们指出，线性规划均可等价地化成如下标准形式{min⁡cTx,s.tAx=b,x⪰0,\begin{align}\begin{cases}\min~c^Tx,\\\mathrm{s.t}~Ax=b,\\x\succeq0,&\end{cases}\end{align}⎩⎨⎧mincTx,s.tAx=b,x⪰0,其中，A=[a
碧蓝的天空丶·2023-12-20 03:15

人工智能学习阶段有哪些?

而高等数学则包括数据分析、概率论、线性代数及矩阵、凸优化等。良好的数学基础，也是有利于以后同学
华清远见成都中心·2023-12-14 13:53

深度学习之网络优化与正则化

视频链接：7.1神经网络优化的特点_哔哩哔哩_bilibili神经网络优化的特点网络优化的难点（1）网络结构差异大：不同模型之间的结构差异大——没有通用的优化算法、超参数多（2）非凸优化问题：导致得到的最优解可能是全局最优解
__如果·2023-12-06 10:42

凸优化之Convex set概念

凸集合今天，定义一下凸集合（convexset）C：假设凸集合C：C,有两个向量x,yC,使得tx+(1-t)yC对于t[0,1]恒成立。用图示的方法表示就是：第一个是凸集合，第二个不是凸集合。convexsetconvexhull凸集合的常见例子：1空集，一个点，一条线2Normball:证明如下：3Hyperplane:4Halfspace:5Affinespace:6Polyhedron:C
十年磨剑_莫回首·2023-12-02 05:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他