凸函数

机器学习 -- 《机器学习》(周志华) 第三章

第三章笔记注常用数学符号正交回归点距离线的距离是正交回归线性回归点垂直方向到线的距离将离散特征转为线性公式极大似然估计用途：估计概率分布的参数值方法：写出随机变量X的概率密度函数写出似然函数求出使得L(μ，σ^2)取到最大值的μ，σ概率密度函数最小二乘法基于方误差最小化来进行求解的方法凸集1凸函数时需要
小灰机大·2022-11-30 14:34

Rosenbrock函数

定义在数学最优化中，Rosenbrock函数是一个用来测试最优化算法性能的非凸函数，由HowardHarryRosenbrock在1960年提出。
蓝净云·2022-11-29 08:36

第七章、网络优化与正则化

用神经网络模型依然存在一些难点问题：（1）优化问题神经网络的损失函数是一个非凸函数，找到全局最优解通常比较困难；参数通常非常多，训练数据也比较大；存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失效。
不堪de不堪·2022-11-28 19:30

神经网络与深度学习：梯度下降法

梯度下降法1.基本原理2.梯度下降法实现线性回归问题3.模型评估1.基本原理一元凸函数求极值二元凸函数求极值2.梯度下降法实现线性回归问题一元线性回归可以转换为二元函数求极值的问题学习率：对于凸函数，只要学习率设置的足够小
Twinkle1231·2022-11-28 13:12

机器学习数学基础

目录1线性代数1.1矩阵定义1.2矩阵中的概念1.2.1向量1.3矩阵的运算1.4矩阵的转置1.5矩阵的逆2微积分2.1导数的定义2.2偏导数2.3方向导数2.4梯度2.5凸函数和凹函数3概率统计3.1
赵广陆·2022-11-28 13:31

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法

所以可以想出一个更简单的方法来写这个损失函数，下面的一行公式等价于上面这个复杂的公式代价函数J是平均损失，是包含m个样本的训练集的平均损失把负号移到外面，就会得到新的表达式，这就是代价函数，使用这样的代价函数训练逻辑回归，这种代价函数具有凸函数的优点实现
AUG-·2022-11-26 19:17

《从零开始：机器学习的数学原理和算法实践》chap6

《从零开始：机器学习的数学原理和算法实践》chap6学习笔记文章目录6.1凸函数6.2梯度下降引入梯度是什么为啥梯度是上升最快的方向捏梯度下降与参数求解梯度下降过程演示6.3代码实践梯度下降一元函数的梯度下降多元函数的梯度下降
临风而眠·2022-11-26 17:53

20221124【深度学习】学习笔记

今日学习目录今日学习一、pytorch编程和DL基础知识1.torch.meshgrid()函数2.torch.linspace()函数3.凸函数与凹函数4.Hessian矩阵、正定矩阵二、西瓜书2.1
脑瓜嗡嗡0608·2022-11-25 20:39

凸优化——凸集与凸函数

一、数学规划  从一个可行解的集合中，寻找出最优的元素，称为数学规划，又名优化。可以写为minimizef0(x)subjecttofi(x)=f0(x∗)\forallz\in\{z|f_i(z)=f_0(x^*)∀z∈{z∣fi(z)=f0(x∗)在图像处理中，对图像I0(x,y)I_0(x,y)I0(x,y)存在噪声，考虑恢复图像I(x,y)I(x,y)I(x,y)。考虑先验知识图像的分片光
楠兮兮·2022-11-25 11:25

最优化理论基础与方法学习笔记——凸集与凸函数以及手写定理证明

文章目录凸集的定义凸集的几何意义有关凸集的定理定理1.4.2内点、边界点和闭包的定义定义1.4.3超平面的定义定理1.4.3投影定理定理1.4.4点与凸集的分离定理定理1.4.5支撑超平面定理定义1.4.4凸函数的定义定义
HiSi_·2022-11-25 11:54

python机器学习逻辑回归算法

]x=[0;x1;x2]2、=[-1;0;0;1;1]x=[0;x1;x2;x12;x22]3、这是更复杂的逻辑边界：三、逻辑回归的代价函数：1、其中y代表真实值，ℎ()代表预测值；该代价函数也是一个凸函数
孙笑川 258·2022-11-25 08:29

拉格朗日乘子法 (Lagrange multipliers)

目录约束最优化问题等式约束的优化问题二元函数多元函数不等式约束的优化问题(KKT条件)推广到多个约束拉格朗日对偶(DualProblem)前置知识inf\text{inf}inf和sup\text{sup}sup符号凸函数仿射函数凸优化从广义拉格朗日函数到拉格朗日对偶函数从原问题到拉格朗日对偶问题弱对偶与强对偶关于强对偶和最优的一些条件
连理o·2022-11-24 21:41

Lagrange乘子法

而线性函数既是凸函数又是凹函数，且一系列凹函数的逐点下确界函数仍然是凹函数（见《凸优化》第3.
liyi_echo·2022-11-24 21:08

2022年3月30日快手广告算法面试题

1、手写交叉熵公式2、为什么用交叉熵不用均方误差1、均方误差作为损失函数，这时所构造出来的损失函数是非凸的，不容易求解，容易得到其局部最优解；而交叉熵的损失函数是凸函数；2、均方误差作为损失函数，求导后
七月在线·2022-11-24 18:43

吴恩达机器学习笔记17-逻辑回归的代价函数

理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）。这意
weixin_33754065·2022-11-24 05:13

吴恩达机器学习笔记--逻辑回归

逻辑回归的代价函数是一个凸函数，
mumuok·2022-11-24 05:36

机器学习系列8：逻辑回归的代价函数

因为这个代价函数在逻辑回归中的图像是这个样子的：这是一个非凸函数，有多个局部最优解，运用梯度下降算法并不会收敛到它的全局最优解，这样就达不到我们预期的效果。那该怎么办呢？
SuperFengCode·2022-11-24 05:24

机器学习笔记（10）- 逻辑回归中的代价函数

表示训练集的总样本数，每个样本都有一个或多个特征，例如肿瘤大小、患者年龄等，共有n个特征，命名为x1~xn由于此训练集是个二分类任务，所以得到的标签y只用两个值，0或1尝试使用相同的成本函数进行逻辑回归，会画出一个非凸函数
AUG-·2022-11-24 04:22

SVM支持向量机详解（三）

前两章的连接：SVM支持向量机详解（一）SVM支持向量机详解（二）1.松弛变量先复习一下，上一章我们讲到了（1）最优解与凸函数，我们通过这一小节知道了我们的目标函数和限制条件下，整个问题是可以求解的，且一定存在最优解
yonsan_·2022-11-24 00:58

SVM支持向量机详解（二）

建议从我的第一个文章开始读~连接如下：第一章SVM支持向量机详解（一）1.求最优解与凸函数目标函数和约束条件，可以用下面的式子表示：公式中一共有p+q个约束条件，其中p个是不等式约束，q个等式约束。
yonsan_·2022-11-24 00:27

吴恩达深度学习笔记——DAY2

（BroadcastinginPython）一、梯度下降法梯度下降法在测试集上，通过最小化代价函数（成本函数〉J(w,b)来训练的参数w和b，找到全局最优解，也就是代价函数（成本函数）J(w,b)这个凸函数的最小值点
qq_45948088·2022-11-24 00:47

机器学习笔记（七）：SVM

一、前导1、最优化问题最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值问题，一般分为以下三种情况(备注：以下几种方式求出来的解都有可能是局部极小值，只有当函数是凸函数的时候，才可以得到全局最小值
xiaoxy97·2022-11-23 15:42

牛顿法-梯度下降法

梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该
leo_fighting·2022-11-23 00:08

西瓜书——线性模型笔记

西瓜书——线性模型笔记1.一元线性回归1.1.由最小二乘法导出损失函数E(w,b)E(w,b)E(w,b)1.2.证明损失函数1.2.1.二元函数判断凹凸性：1.2.2.二元凹凸函数求最值：1.2.3.
无九不知名·2022-11-22 17:44

西瓜书第三章——线性模型

西瓜书第三章——线性模型前言一、一元线性回归0、一些基本概念1、算法原理2、线性回归的最小二乘估计和极大似然估计2.1、最小二乘法2.2、极大似然估计法3、求解ω和b3.1、凸函数3.2、海塞矩阵及其半正定性
hitsugaya837·2022-11-22 16:09

常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）

梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。
科研小白~瞄·2022-11-22 14:25

吴恩达机器学习作业Python实现之logistic回归-理论推导

但是逻辑回归的J函数是非凸函数，不好求导。3）引入概率模型：4）概率模型的最大似然估计：选取θ使P（所有样本）最大。5）统一J和P：向量化公式：
Learningisgood·2022-11-22 13:05

深度学习中的优化算法如何理解--SGD

提到优化算法那么就要涉及到优化问题，简单介绍一下什么是凸集、凸函数、凸优化。凸集：集合中任意两个样本连接后的线段仍然属于集合，那么就是凸集。
calm-one·2022-11-22 11:58

&4_单机优化（确定性算法，优化框架）

优化框架机器学习的优化框架正则化经验风险最小化优化算法的收敛速率假设条件凸函数定义强凸函数定义光滑函数定义优化算法的分类机器学习的优化框架正则化经验风险最小化有监督的机器学习问题：假设输入输出数据Sn=
Mafia.M.A·2022-11-21 21:13

略解深度学习优化策略

凸函数：深度学习中出现的几乎所有优化问题都是非凸的。下面是对凸（convex）和非凸的一个介绍。由上图可以找到明显的规律是，第一个图形和后两个图形的明显区别，第一张图中的点线段部分出
hithithithithit·2022-11-21 20:47

297个机器学习彩图知识点（5）

1.岭回归2.安斯库四重奏3.偏差方差4.自助采样法5.能力6.最优化算法7.常见激活函数8.凹凸函数9.条件概率10.置信区间11.模型的一致性12.代价函数13.交叉熵14.决策边界15.特征选择策略
冷冻工厂·2022-11-21 07:57

17、数据分析--支持向量机

支持向量机是处理回归问题的可泛化性能最好的，解决过拟合，机器学习中算法精度也是最高的相关数学知识梯度下降梯度下降法(GradientDescent，GD)常用于求解无约束（不跟其他的位置比最近，而是只自己比什么时候数值最小）情况下凸函数
T o r·2022-11-21 07:34

机器学习—西瓜书-chapter3—对率回归

编程实现对率回归，并给出西瓜数据集3.0α上的结果对率函数是任意阶可导的凸函数，这是非常重要的性质。西瓜数据集3.0暂时不知道什么原因导致，结果差别这么大，记录下来。
糖糖糖-豆·2022-11-21 02:22

KL散度、JS散度 的理解以及一些问题

2.非负性：因为对数函数是凸函数，所以KL散
小葵向前冲·2022-11-21 00:14

最优化方法02——优化问题引入、线性组合、正交化

目录系列文章目录一、优化问题1.渐近记号—o记号（高阶无穷小）2.必要条件3.凸集与凸函数3.1凸集3.2凸函数4.向量偏导5.优化问题样例6.聚类与K-means6.1聚类6.2K-means二、线性组合与线性相关
@李忆如·2022-11-20 21:03

如何推导最小二乘法，求解多元线性回归参数？

sklearn中linear_model.LinearRegression参数介绍+案例最小二乘法损失函数求解推导最小二乘法的思路：对损失函数求导，令其为0，求得损失函数最小值时的参数，但前提条件：导数为凸函数
好好学习的星熊·2022-11-20 19:39

最小二乘法——线性回归

凸函数的最小值通常在导数等于0处取得，因此，可以转换为：令，则公式①公式②第四步：将公式①代入公式②得三、C++实现#include#includeusingnamespacestd;/*Eigen*
@Mosquito·2022-11-20 19:59

torch.nn里的损失函数：MSE、BCE、BCEWithLogits、NLLLoss、CrossEntropyLoss的用法

之所以不用于分类问题，可能原因为：使用sigmoid之后，函数形式不是凸函数，不容易求解，容易进入局部最优。
zcm0126·2022-11-20 13:33

【机器学习】西瓜书 03 线性回归模型

03线性模型文章目录03线性模型机器学习三要素3.1一元线性回归算法原理3.1.1最小二乘法3.1.2极大似然估计法3.2参数估计凸集凸函数凸充分性定理梯度Hessian矩阵3.2.1证明E(w,b)E
Biophilia_hyb·2022-11-20 09:33

吴恩达机器学习(五)逻辑回归练习-二分类练习

理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将hθ(x){h_\theta}(x)hθ(x)带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction
undo_try·2022-11-20 03:48

机器学习笔记

预备知识1、什么是凸函数？
O zil·2022-11-19 23:59

梯度下降算法拟合线性函数的python实现

梯度下降算法拟合线性函数的python实现梯度下降算法与线性回归算法的比较如下：该问题便转换为求解凸函数即代价函数最小值的问题。对于线性回归问题运用梯度下降法，关键在于求出代价函数的导数。
不想秃头的男孩·2022-11-19 03:15

Optimizers for deep learning(优化器)

优点是在凸函数能收敛到最小值。但显而易见的是，这方法计算量太大。假如我们的数据集很大的话，普通的GPU是完全执行不来的。还有一点，它逃不出鞍点，也容易收敛到局部最小值（也就是极小值）。那为了提高我们
白蛋儿_爱编程~·2022-11-19 02:40

logistic回归模型之梯度下降法

成本函数J(w,b)的图像是凸函数（大碗形状），当处于最低点时，即为获取了最优的w和b值。
BugsKiller1·2022-11-18 16:13

EM算法与高斯混合模型GMM

文章目录凸函数Jensen不等式极大似然估计EM算法GMM(高斯混合模型)GMM算法流程代码实现凸函数通常在实际中，最小化的函数有几个极值，所以最优化算法得出的极值不确实是否为全局的极值，对于一些特殊的函数
身影王座·2022-11-18 11:40

【最优化理论】02-凸规划

极点极方向紧凸集表示凸集表示定理凸集分离定理闭凸集性质（点在闭凸集上的映射）（为凸集分离定理证明做铺垫）点与凸集分离定理凸集与凸集可分离凸函数凸函数性质凸函数的根本重要性凸函数判别凸函数一阶判别法凸函数二阶判别法二阶充要条件二阶充分条件凸规划凸优化问题凸优化
暖焱·2022-11-17 13:44

【最优化理论】03-无约束优化

无约束优化无约束优化问题无约束优化问题的应用无约束优化问题的最优性条件无约束-凸函数-最优性条件（充要）无约束-一般函数-最优性条件必要条件一阶必要条件：梯度为0二阶必要条件：hessian矩阵半正定充分条件二阶充分条件
暖焱·2022-11-17 13:13

PYTORCH学习（2）：梯度下降、随机梯度下降、mini batch、反向传播

PYTORCH学习（2）：梯度下降、随机梯度下降、minibatch1、学习点1.1非凸函数1.2鞍点问题1.3前向传播和反向传播2、python实现2.1梯度\随机梯度下降2.2minibatchpython
取不到名字的Z先生·2022-11-16 17:58

一、基础知识(2)-凸集、凸函数

一、凸集1.1凸集的相关定义凸集定义：x1,x2∈C⇒θx1+(1−θ)x2∈C,∀0≤θ≤1x_1,x_2\inC\Rightarrow\thetax_1+(1-\theta)x_2\inC,\forall0\leq\theta\leq1x1,x2∈C⇒θx1+(1−θ)x2∈C,∀0≤θ≤1形式化定义：集合C中的任意两点所连接的线段都在C内，则C为凸集。凸包定义：x=θ1x1+θ2x2+...
nefu_0iq·2022-11-14 13:11

AI 数学基础知识-方向导数与梯度、范数矩阵、SVD分解、PCA、凸函数

原课程链接自己的课程笔记，方便自己查漏补缺。想补充数学预备知识的友友，建议去看原视频。相比于考研数学，这里更注重理解，而不是强调计算能力。数分方向导数和梯度之后学梯度下降算法需要，考研时没学留下的坑，赶紧补下面又通过一个案例计算说明：梯度方向的方向导数=梯度的模线性代数a=np.array([[1,2,3],[4,5,6]])b=np.array([[1,2,1],[2,2,1]])#点对点相乘n
海星？海欣！·2022-11-14 13:10
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他