凸函数

24 优化算法

目录优化和深度学习深度学习中的挑战局部最小vs全局最小鞍点（saddlepoint）梯度消失小结凸性（convexity）凸集凸函数（convexfunction）凸函数优化凸和非凸例子小结梯度下降（gradientdescent

Unknown To Known·2024-08-22 01:31

机器学习中梯度下降法的缺点

尽管其应用广泛，但梯度下降法也存在一些不可忽视的缺点：1.局部最小值和鞍点局部最小值问题：对于非凸函数，梯度下降法可能会陷入局部最小值，而不是全局最小值。

华农DrLai·2024-02-20 08:08

证明逻辑回归的目标函数是凸函数

证明逻辑回归的目标函数是凸函数参考：https://zhuanlan.zhihu.com/p/76639936假设有训练数据D={(x1,y1),...,(xn,yn)}D=\{(\mathbf{x}_

Longlongaaago·2024-02-15 07:06

机器学习 | 凸/非凸目标函数 |非凸目标函数导致求解陷入局部最优

凸优化问题是指χ\chiχ是闭合的凸集且f是χ\chiχ上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非

stone_fall·2024-02-12 11:04

机器学习入门之基础概念及线性回归

任务目录什么是Machinelearning学习中心极限定理，学习正态分布，学习最大似然估计推导回归Lossfunction学习损失函数与凸函数之间的关系了解全局最优和局部最优学习导数，泰勒展开推导梯度下降公式写出梯度下降的代码学习

StarCoder_Yue·2024-02-12 11:01

03 凸优化理论-凸函数

03凸函数目录3.1凸函数的定义、性质（凸函数的判定）、示例3.2保凸运算3.4拟凸函数3.5对数凸函数3.3共轭函数3.6关于广义不等式的凸性3.1凸函数的定义、性质和例子（一）凸函数的定义&扩展值延伸

Jay Morein·2024-02-06 12:21

岭回归公式推导

加入常数项，同时，希望拟合参数θ尽可能小，以降低预测值的敏感程度，可得：注：结合起来理解：目标函数是一个凸函数，对目标函数求导，导数等于0的点是最优点：注意：岭回归的推导与介绍，比较全面：https:/

吐泡泡的柠檬·2024-02-02 05:16

Analysis of Learning from Positive and Unlabeled Data

本文从基本的分类损失出发，推导了PU的分类问题其实就是Cost-sensitiveclassiﬁcation的形式，同时，通过实验证明了如果使用凸函数作为lossfunction，例如hingeloss

zealscott·2024-01-29 14:53

ˇasushiro·2024-01-28 17:30

凸优化问题：基础定义

抛开凸优化中的种种理论和算法不谈，纯粹的看优化模型，凸优化就是：1、在最小化（最大化）的要求下，2、目标函数是一个凸函数（凹函数），3、同时约束条件所形成的可

TensorME·2024-01-26 16:28

优化算法--李沐

凸函数最

sendmeasong_ying·2024-01-23 06:27

机器学习_通过梯度下降找到最佳参数

文章目录训练机器要有正确的方向凸函数确保有最小损失点梯度下降的实现学习速率也很重要训练机器要有正确的方向所谓训练机器，也称拟合的过程，也就是确定模型内部参数的过程。

you_are_my_sunshine*·2024-01-21 06:17

最优化理论与方法复习（6）---凸集和凸函数

文章目录1.凸集1.1定义1.2例题2.凸函数2.1判断方式2.2例题1.凸集1.1定义设SSS为nnn维欧式空间RnR^nRn一个集合，对于任意的X(1)X^{(1)}X(1)，X(2)∈SX^{(

冒冒菜菜·2024-01-20 21:30

【笔记】认识凸优化

凸优化凸优化是一类特殊的数学优化问题，其基本思路是凸优化的基本思路是通过利用凸性质，将优化问题转化为在凸集上定义的凸函数的最优化问题，从而能够借助凸优化的理论和算法来高效求解。

假装有头像·2024-01-19 10:55

近似点梯度法

ProximalGradientMethod一、邻近算子（1）定义二、近似点梯度法（1）迭代格式（2）迭代格式的理解（3）收敛性分析三、FISTA算法（1）迭代格式（2）收敛性分析参考资料一、邻近算子（1）定义定义(邻近算子)对于一个凸函数

格兰芬多_未名·2024-01-19 03:52

吴恩达机器学习笔记-Logistic回归模型

回归函数在逻辑回归模型中我们不能再像之前的线性回归一样使用相同的代价函数，否则会使得输出的结果图像呈现波浪状，也就是说不再是个凸函数。代价函数的表达式之前有表示过,这里我们把1/2放到求和里面来。

Carey_Wu·2024-01-18 16:26

协方差矩阵自适应调整的进化策略(CMA-ES)

CMA-ES是一种随机或随机化方法，用于非线性、非凸函数的实参数（连续域）优化。作者NikolausHansen于2016年在MachineLearning上发布了关于CMA-ES详细教学。

努力发光的程序媛·2024-01-17 05:49

机器学习_捕捉函数的变化趋势（凸函数）

文章目录连续性是求导的前提条件通过求导发现y如何随x而变凸函数有一个全局最低点机器学习所关心的问题之一捕捉函数的变化趋势，也就是标签（y）是如何随着特征字段（x）而变化的，这个变化趋势是通过求导和微分来实现的

you_are_my_sunshine*·2024-01-14 21:55

贝叶斯优化的基本流程

1我们可以对()求导、令其一阶导数为0来求解其最小值函数()可微，且微分方程可以直接被求解2我们可以通过梯度下降等优化方法迭代出()的最小值函数()可微，且函数本身为凸函数3我们将全域的带入()计算出所有可能的结果

今天也要加油丫·2024-01-13 13:39

Csiszár divergences

Csiszárdivergences熵函数熵函数（entropyfunction)φ:R++→R+\varphi:\mathbb{R}_{++}\to\mathbb{R}_{+}φ:R++→R+，他是凸函数

Nightmare004·2024-01-13 09:16

凸优化Convex Optimization期末复习重点和考试笔记（一）凸集+凸函数

总共有四章重点，我分两个博客放哈～第一部分：凸集第二部分：凸函数以上是凸集和凸函数两章的期末复习笔记。

Q小Q琪·2024-01-11 18:47

凸优化Convex Optimization期末复习重点和考试笔记（二）凸优化+对偶

接博客【凸优化ConvexOptimization期末复习重点和考试笔记（一）凸集+凸函数】第三部分：凸优化第四部分：对偶几种典型的凸函数以上就是凸优化和对偶函数部分，以及几种常见的凸函数。

Q小Q琪·2024-01-11 18:15

【凸优化】【长链剖分】【2019冬令营模拟1.8】tree

SOLUTION这是一道综合的题目，考察凸优化、长链剖分、树形DP、以及关于数组空间的优化首先引进凸优化凸优化就是关于答案可以表示成一个凸函数f(x)，x是题目给出的参数，并且这个函数的斜率成下降的趋势

YiPeng_Deng·2024-01-11 15:05

Convex Formulation for Learning from Positive and Unlabeled Data

UnbiasedPUlearning.该论文在之前PUlearning中使用非凸函数作为loss的基础上，对正类样本和未标记样本使用不同的凸函数loss，从而将其转为凸优化问题。

zealscott·2024-01-06 12:52

最优化理论期末复习笔记 Part 2

范数诱导的矩阵范数无穷范数诱导的矩阵范数2范数诱导的矩阵范数各种范数之间的等价性向量与矩阵序列的收敛性函数的可微性与展开一维优化问题牛顿莱布尼茨公式对多维的拓展Lipschitz连续中值定理凸优化问题凸函数的判断

hijackedbycsdn·2024-01-04 23:21

Convex optimization 3.1 --- 凸优化问题 part1

1introduction在前面两个章节，回顾了凸集、凸函数、凸集和凸函数联系。从这章开始认识凸优化问题。其中，关于各种典型的类别的凸优化问题，主要参考了[2]。

expectmorata·2024-01-04 12:52

最优化理论期末复习笔记 Part 1

范数诱导的矩阵范数无穷范数诱导的矩阵范数2范数诱导的矩阵范数各种范数之间的等价性向量与矩阵序列的收敛性函数的可微性与展开一维优化问题牛顿莱布尼茨公式对多维的拓展Lipschitz连续中值定理凸优化问题凸函数的判断

hijackedbycsdn·2024-01-04 09:42

【最优化方法】凸优化基本概念

文章目录凸优化（ConvexOptimization）凸集（ConvexSet）凸集合的运算（OperationsonConvexSets）凸函数（ConvexFunction）凸优化问题（ConvexOptimizationProblem

撕得失败的标签·2024-01-01 06:17

【最优化方法】凸二次优化

文章目录凸函数的判别凸二次优化海森矩阵（Hessianmatrix）判断函数凹凸性示例凸函数的判别设S⊂RnS\subsetR^nS⊂Rn是非空开凸集，f:S→Rf:S\rightarrowRf:S→R

撕得失败的标签·2024-01-01 06:17

Chapter1极限、导数、凸函数

目录一.O(n)和o(n)二.极限三.求导定义四.求导方法五.导数的应用：费马定理六.导数的应用：函数逼近七.导数的应用：泰勒展开八.凸函数一.O(n)和o(n)1.，其中O指的是Order阶。

桑之未落0208·2023-12-31 15:47

模型优化方法

通过一下几种步骤进行模型优化训练过程优化器随机梯度下降（SGD）优点：（1）每次只用一个样本更新模型参数，训练速度快（2）随机梯度下降所带来的波动有利于优化的方向从当前的局部极小值点跳到另一个更好的局部极小值点，这样对于非凸函数

alstonlou·2023-12-28 23:12

KL散度、JS散度、Wassertein距离

定义如下：对数函数为凸函数，所以KL散度的值为分复数。KL散度有时也称为KL距离，但它并不满足距离的性质：1、KL散度不是对称的；2、KL散度不满足三角不等式。

LuDon·2023-12-27 01:29

算法中的最优化方法课程复习

算法中的最优化方法课程复习单模函数、拟凸函数、凸函数证明证明一个线性函数与一个凸函数的和也是凸的梯度线性规划标准形式以及如何标准化标准形式常见标准化方法线性化技巧单纯形法二次规划无约束优化Nelder-Mead

Kilig*·2023-12-24 06:53

凸优化 2：如何判定凸函数？

凸优化2：如何判定凸函数？如何判断一个目标函数是凸函数？如果是凸函数，那ta的定义域是凸集合一个函数求俩次梯度，大于等于0，那这个函数就是一个凸函数在同样条件下，怎么设计为凸函数模型？

Debroon·2023-12-24 04:51

+e^xn)是凸函数

证明：f(X)=ln(ex1+ex2+…+exn)是凸函数.方法一：使用定义证明设X，Y是Rn上的两个向量，0<=a<=1f(aX+(1−a)Y)=ln⁡(eax1+(1−a)y1+eax2+(1−a)

风声holy·2023-12-20 08:46

凸函数笔记（2）

目录4.凸函数的结构5.拟凸函数5.1定义与等价刻画5.2可微函数的拟凸性判定5.3保拟凸运算练习4.凸函数的结构本节将证明：给定凸函数fff的一个相对内点xxx,必存在过(x,f(x))(x,f(x)

碧蓝的天空丶·2023-12-18 08:09

凸函数笔记（1）

目录1.凸函数基本概念2.可微函数的凸性判定2.1函数凸性的微分判据2.2可微凸函数的例子3.保凸运算3.1复合函数的凸性3.2几种保凸运算1.凸函数基本概念记R‾:=R∪{±∞}.对函数f:Rn→R‾

碧蓝的天空丶·2023-12-18 08:08

梯度下降与损失函数的基础知识

文章目录一、基础知识梯度下降损失函数的要求损失函数凸函数二、预测的任务理解策略梯度一、基础知识梯度下降梯度下降（GradientDescent）是一种常用的优化算法，用于最小化损失函数或目标函数。

_刘文凯_·2023-12-05 17:09

[PyTorch][chapter 4][李宏毅深度学习][Gradient Descent]

假设损失函数为忽略二阶导数,当时候因为要考虑二阶导数，所以损失函数一般都选凸函数,二阶为0,一阶导数有驻点的函数.二常见问题1：学习率learningrate红线：学习率太小，收敛速度非常慢绿线:学习率太大

明朝百晓生·2023-12-05 07:39

c语言详解牛顿迭代法以及求解倒数和平方根

Newton'siterationmethod是在实数域和复数域利用切线不断逼近方程根的一种求高次曲线方程的方法，区别于梯度下降法，它是二阶导，收敛速度比较快，对于非凸函数，牛顿法容易受到鞍点或者最大值点的吸引

发狂的小花·2023-12-03 22:56

凸函数与不等式的妙用, 一道普林斯顿大学的不等式竞赛题

想学好不等式，当从凸函数开始啊。从凸函数开始，可以得到很多有用的结论，从而为不等式的学习打好坚实有序的基础。

我的数学像一首诗·2023-12-01 12:14

函数单调性与凹凸性，极值和最值

单调递减导数小于等于0，其中等于0在个别点成立2.函数在某个区间凹，两点函数值和的二分之一大于两点和的二分之一的函数值，如果相反，那么函数是凸的3.二阶导数大于0,则函数为凹函数;二阶导数小于零,函数为凸函数

终极定律·2023-11-29 21:25

非凸优化问题的几种经典解法

三、松弛变量引入法引入松弛变量，将原目标函数中难以解决的公式部分用松弛变量代替，使目标函数变为凸函数。

迎着黎明那道光·2023-11-28 18:14

深度模型优化与正则化

优化问题神经网络模型是一个非凸函数，再加上在深度网络中的梯度消失问题，很难进行优化；另外，深层神经网络模型一般参数比较多，训练数据也比较大，会导致训练的效率比较低泛化问题（正则化）因为神经网络的拟合能力强

锋年·2023-11-26 22:44

机器学习-凸函数

https://www.nowcoder.com/discuss/2053411凸优化是指X是闭合的凸集，f是X上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。

368chen·2023-11-26 09:59

(转)凸函数

基本介绍凸函数是一个定义在某个向量空间的凸子集C（区间）上的实值函数f，而且对于凸子集C中任意两个向量x1,x2,f((x1+x2)/2)≤（f(x1)+f(x2))2x1,x2,f((x1+x2)/2

Big_quant·2023-11-22 14:56

什么是凸函数以及如何判断函数是否为凸函数

目录一、什么是凸函数二、如何判断函数是否为凸函数？三、为什么要求是凸函数呢？四、为什么要求是凸集呢？

吃好多雪糕·2023-11-22 14:24

什么是凸函数

假设函数是定义在某个向量空间的凸子集上的实值函数，并且，如果对于中的任何两个向量和，都满足：则称为上的凸函数

听海边涛声·2023-11-22 14:52

深度学习——激活函数（函数，函数图像，优缺点，使用建议）

单调性：当激活函数是单调的，能保证单层网络的损失函数是凸函数。近似恒等性：

plasma-deeplearning·2023-11-11 01:13

第六章《凸优化核心过程:真正搞懂梯度下降过程》

优化问题可以分为凸优化问题和非凸优化问题，凸优化问题是指定义在凸集中的凸函数最优化的问题，典型应用场景就是目标函数极值问题的求解。

Mamong·2023-11-09 14:03

推荐频道

凸函数