凸函数

一个程序员的思考

一个正常人的一生或者做一件事情就像一个ln函数，ln函数是一个凸函数，虽然一次导数是大于0的，但是二次导数却是小于0，意味着一次导数一直在减小，带来的结果就是值增加的越来越缓慢。
魏守峰·2020-03-28 09:48

【转载】机器学习常见的最优化算法

梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解
dopami·2020-03-24 06:36

逻辑回归损失函数不使用MSE的原因

原因总结：MSE会有梯度消失现象MSE的导数非凸函数，求解最优解困难公式证明1.梯度消失公式证明令，记为。
CapsulE_07·2020-03-23 00:48

自适应学习率调整算法

独立调整模型所有参数的学习率，从训练过程的开始不断的减小learningrate较大的梯度---rapiddecrease较小的梯度---relaticelysmalldecrease缺点是过度地降低了学习率,凸函数中性能更好
遥想yaoxiang·2020-03-22 02:46

Convex Set and Convex Function凸集与凸函数

WelcomeToMyBlogRockafeller说:"优化问题的分水岭不是线性和非线性,而是凸性和非凸性"两点连线上的点在介绍凸集和凸函数之前,先来看一个与之有关的基本问题:如下图,已知空间中有B,
LittleSasuke·2020-03-18 18:03

几种梯度下降算法

对于一个给定的凸函数为了得到使其极小的θ的值，可以使用梯度下降法。顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。
农大鲁迅·2020-03-18 04:29

「转」机器学习中关于判断函数凸或凹以及最优化的问题

很多最优化问题都是在目标函数是凸函数或者凹函数的基础上
程序猪小羊·2020-03-18 03:09

优化方法总结

在每一轮的训练过程中，BatchGradientDescent算法用整个训练集的数据计算costfuction的梯度，并用该梯度对模型参数进行更新：Θ=Θ−α⋅▽ΘJ(Θ)优点:costfuction若为凸函数
想飞的大兔子·2020-03-18 00:39

Jenson 不等式的笔记

凸函数和凹函数在刚开始学习凸函数和凹函数的时候，我们会被凸函数和凹函数的命名所困扰，命名看起来是凹的，一些教材上却偏偏说它是凸函数。其实这个只是一个定义，它叫什么，并不影响函数本身的性质。
李威威·2020-03-15 07:58

机器学习所有相关问题

中心极限定理的实际意义3.矩估计的实际意义4.极大似然估计的实际意义三、线性代数1.方阵的相似变化的几何意义2.方阵的相合变换的几何意义3.主成分分析的原理四、凸优化1.凸优化的例子（极大似然估计和最小二乘法）2.凸集与凸函数的实际意义
王侦·2020-03-08 07:57

Arxiv网络科学论文摘要9篇(2017-03-13)

;随机动态和在线视频中热点的可预测性;起源于社交网络的维基百科页面的坏名声时间演变;凸函数/凹函数尺寸函数的最小子图问题;NetSpam：基于网络的垃圾邮件检测框架在线社交媒体的评论;简单复形的中心性;
ComplexLY·2020-03-02 06:11

也许彼此爱过

图片发自App如今只有我孤独的在昼与夜似调和函数的边界，心绪凹凸函数般上下波动，回忆似巍尔斯特拉斯函数没有方向的疼，也许将来狄利克雷函数区间黎曼不可积，彼此处处不连续，处处不可导。
小景有点暖·2020-03-01 11:17

02 SVM - 拉格朗日乘子法

-梯度下降法10回归算法-梯度下降在线性回归中的应用11回归算法-BGD、SGD、MBGD梯度下降12回归算法-手写梯度下降代码梯度下降法(GradientDescent，GD)常用于求解无约束情况下凸函数
白尔摩斯·2020-02-26 01:56

每日一问 20190303

在求最优解时要求函数是凸函数，如何判断函数凸还是非凸？首先我们的问题是判断函数是凸还是非凸，而不是函数是凸还是凹。百度百科：注意：中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。
yuanCruise·2020-02-17 23:47

《机器学习(周志华)》笔记--支持向量机（2）--对偶问题：优化问题的类型、对偶问题、解的稀疏性、硬间隔与软间隔

二、对偶问题1、优化问题的类型（1）无约束优化问题：求解方法：求取函数f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。
泰初·2020-02-16 11:00

1.机器学习数学基础--高等

概要极限定理夹逼定理积分微分基础(导数定义，常见函数求导，导数运算法则，复合函数求导)凹凸函数牛顿-莱布尼Taylor公式、Maclaurin公式方向导数和梯度Gamma函数Jensen不等式拉格朗日乘子法
谈笑风生Smile·2020-02-15 08:25

机器学习中的数学系列-2概率与统计

+pn=1,以及f是凸函数。
3orchid3·2020-02-12 06:46

python 非线性规划方式(scipy.optimize.minimize)

非线性规划可以简单分两种，目标函数为凸函数or非凸函数。
ronaldo_liu2018·2020-02-11 10:01

逻辑回归与极大似然估计

逻辑回归定义由于为非凸函数，存在很多局部最小值，用常规的可能难以求解全局最小值，因此使用极大似然估计来求解代价函数，从而求解梯度。
葛城巧·2020-02-11 05:38

【AI数学基础：微积分】凸集与凸函数

一、凸集余维度：若W是一向量空间V的一个线性子空间，则W在V的余维数是商空间V/W的维数。在有限维空间下，coddim（W）=dim（V/W）=dim（V）-dim（W）超平面：n维欧式空间中余维度为1的线性子空间(1)超平面是指n维线性空间中维度为n-1的子空间。它可以把线性空间分割成不相交的两部分。比如二维空间中，一条直线是一维的，它把平面分成了两块；三维空间中，一个平面是二维的，它把空间分成
没有照片的稻田献一·2020-02-10 11:00

机器学习基础·拉格朗日乘数法

构造拉格朗日函数原始问题的等价表示对偶问题原始问题和对偶问题的关系(1)(2)的条件a.是凸函数，是仿射函数；b.不等式约束是严格可行的。KKT条件备注:注意在使用拉格朗日乘数法时，约束条件的
jiangweijie1981·2020-02-07 21:33

【机器学习】算法原理详细推导与实现(五):支持向量机(下)

之前需要优化的凸函数为：这里假设数据是线性可分隔的，对于这个优化项目，给定一个训练集合，这个问题的算法会找到一个数据集合的最优间隔分类器，可以使训练样本的几何
TTyb·2020-02-07 12:55

【机器学习】算法原理详细推导与实现(五):支持向量机(下)

之前需要优化的凸函数为：\[min_{\gamma,\omega,b}->\frac{1}{2}||\omega||^2\]\[
TTyb·2020-02-07 12:00

逻辑斯蒂回归（LR）

image.png二项逻辑斯蒂回归模型：（其实是个二分类）令极大似然估计法：，为决定，数据集如果用交叉熵，LR是凸函数。softmax回归也是凸函数。这样一来，问题就变成了以对数似然函数为目
小幸运Q·2020-02-07 10:47

VBA实现优化算法-黄金分割求最值

使用黄金分割算法求自定义连续上凸/下凸函数最小值。函数的形态应类似于下面的图形：适用函数形态黄金分割算法通过多次迭代逼近最小值。如果求的是如上图（1）所示的最大值，那么在程序最后对函数值取负数即可。
柳誉鸣·2020-02-07 04:28

机器学习（二） 线性回归

所有的系数要同时更新（不可以先对赋新的值再通过此式计算，因为新的值会改变）线性回归的代价函数总是一个凸函数Batch梯度下降：每一步梯度下降都用到了整个训练集
形式主义_5adc·2020-02-06 10:23

知识点

优化方法梯度下降梯度下降是一种优化算法，通过迭代的方式寻找模型的最优参数；所谓最优参数指的是使目标函数达到最小值时的参数；当目标函数是凸函数时，梯度下降的解是全局最优解；但在一般情况下，梯度下降无法保证全局最优梯度仅仅指示了对于每个参数各自增长最快的方向
灰化肥发黑会挥发·2020-02-05 05:33

四边形不等式的一些看法

大神都在BZOJ我们在处理dp问题时，常常会出现一个二维的问题，他的dp转移方程是:\[dp[i][j]=min_{i=w(a,c)+w(b,d)\)时，此函数为凸函数我们举一个例子[IOI2000]邮局
_rsx·2020-02-03 00:00

逻辑回归（二）

对于线性回归模型，我们定义的代价函数J(θ)为：现在对于逻辑回归模型我们沿用此定义，但问题是hθ(x)=g(z)，而函数g为S形函数，故代价函数J(θ)将会变为像下图中左边的图那样，此时我们将其称之为非凸函数
SmallRookie·2019-12-22 07:54

纲

数学分析SVD常数e导数/梯度随机梯度下降Taylor展式的落地应用gini系数凸函数Jensen不等式组合数与信息熵概率论与贝叶斯先验古典概型贝叶斯公式先验分布/后验分布/共轭分布常见概率分布泊松分布和指数分布协方差
机器智能·2019-12-19 08:04

凸函数的一阶条件及其证明

判断凸函数的一阶条件如下图所示：First-orderconditions.png注意到右式为函数在点处的一阶泰勒展开，在n=1情形下的几何意义如下图：几何意义.png具体证明如下：充分性：令①②①+②
坐看云起时zym·2019-12-18 22:07

李宏毅2018笔记（未完）

eachneurononlyprovidesonelinearpiece.piece-widefunction折线的上限是，其中n是relu的个数deepDNN的前面的layer更重要DNN的损失函数不是凸函数
音符纸飞机·2019-12-18 03:19

（EM算法）The EM Algorithm

设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x
史努B·2019-12-16 22:15

2019-02-25

@[TOC](2.25机器学习数学基础笔记之二)1.凸函数的判定（开口往上凸函数开口往下凹函数）!
13351·2019-12-16 20:12

【机器学习基础】交叉熵（cross entropy）损失函数是凸函数吗？

之所以会有这个问题，是因为在学习logisticregression时，《统计机器学习》一书说它的负对数似然函数是凸函数，而logisticregression的负对数似然函数（negativeloglikelihood
wuliytTaotao·2019-12-01 21:00

不畏浮云遮望眼，自缘身在最高层：最优化方法

非凸函数中的最值实际的最优
熊出没之熊二快跑·2019-11-18 11:15

COAC：Introduction

凸集和凸函数的定义：凸集：数学定义：集合X属于R^n(即其中的元素x有n维，每维都在R实数空间)如果X是凸集，那么它就要包含所有它本身任意两点间的片段。
dlongry·2019-11-08 21:18

kaldi中CD-DNN-HMM网络参数更新公式手写推导

不用均方差做损失函数的原因是在分类问题上它是非凸函数，不能保证全局最优解（只有
davidtym·2019-11-05 08:00

凸优化

凸函数上方的区域，一定是凸集。一个函数图上上方的区域是凸集，则该函数是凸函数。仿射集（Affineset）定义:通过集合C中任意两个不同点的直线任然在集合C内，则称集合C为仿射集。仿射集必然是凸集。
Kris_u·2019-10-11 16:35

Lagrange Multiplier & KKT Conditions

1无约束优化对于无约束优化问题中，如果一个函数f是凸函数，那么可以直接通过f(x)的梯度等于0来求得全局极小值点。为了避免陷入局部最优，人们尽可能使用凸函数作为优化问题
Le1B_o·2019-10-05 16:00

不等式(二)-Hoeffding不等式

Hoeffding不等式作用与Chebyshev不等式类似，但区间更紧致(增加了独立性约束)Hoeffding不等式设相互独立，且，且，令，则对任意，证明过程如下：对于凸函数，对于任意，和都满足如图所示
_与谁同坐_·2019-10-05 11:31

SVM之KKT条件理解

求解最优超平面，即求最大化间隔，或最小化间隔的倒数：||w||2/2，约束条件为yi(wTxi+b)>=1因为此函数为凸函数（拉格朗日乘子法的前提条件），可用拉格朗日乘子法转化为对偶问题，当满足KKT条件时
我的锅·2019-10-02 11:00

激活函数和损失函数

单调性：当激活函数是单调的时候，单层网络能够保证是凸函数。输出值的范
GrandNovice·2019-09-03 17:01

凸优化基础知识笔记-凸集、凸函数、凸优化问题

文章目录1.凸集2.凸函数2.1.凸函数的一阶条件2.1.凸函数例子3.凸优化问题4.对偶4.1.Lagrange函数与Lagrange对偶4.2.共轭函数4.3.Lagrange对偶问题4.4.强对偶性与
lankuohsing·2019-08-11 00:27

利用梯度下降法和牛顿法求开方

假如现在要求的是根号2即x2=2x^2=2x2=2的解使用梯度下降法梯度下降主要通过求梯度为0的点，得到凸函数的全局最小值。
很吵请安青争·2019-08-10 17:19

凸集、凸函数、凸优化的一些笔记

一、凸集的定义：典型的凸集A、线段，射线，直线B、超平面，半空间C、仿射集D、欧几里得球，范数球，椭球等E、凸锥，范数锥等超平面和半空间概念仿射变换二、凸函数二、性质2.1、一阶条件2.2、二阶条件Jensen
ding_programmer·2019-08-03 11:05

支持向量机原理总结

支持向量法向量截距复数虚数等高线：网上很多举例用的是等高线视角梯度（沿着梯度的方向改变x，函数值y下降或上升的越快，最大步长为梯度的模）凸函数（局部最小值就是全局极小值）拉格朗日乘子法（将含有不等式约束的目标函数转化为不含不等式的
hehai123321·2019-07-16 14:17

神经网络与深度学习笔记（三）：逻辑回归的损失函数

如果想要上面的那种形式来作为代价函数，那么我们得到的代价函数不是凸函数因此不可能进行优化，于是引入了下面的这种形式来进行的，其具体形式是怎样的呢？我们来看看：代价函数是使用实际的值和拟合
Geeksongs·2019-07-05 13:00

JZOJ6232 【NOI2019模拟2019.6.25】喜欢最最痛（凸函数，贪心，动态dp）

Description：神树大人种了一棵有边权的树，由于这是神树大人种的树，所以这棵树被命名为神神树。神神树的边权为正.整.数.。神树大人命令龚诗锋从1号点开始走一个路径并最终回到1号点，且这条路径经过了所有的边。一条路径的代价就是它经过的边的边权之和。龚诗锋可以加若干条额外边，第i条加的额外边的边权为正.整.数.Ai。注.意.，龚.诗.锋.不.一.定.要.经.过.所.有.的.额.外.边.。由于龚
Cold_Chair·2019-06-26 20:37

JZOJ6232 【NOI2019模拟2019.6.25】喜欢最最痛（凸函数，贪心，动态dp）

Description：神树大人种了一棵有边权的树，由于这是神树大人种的树，所以这棵树被命名为神神树。神神树的边权为正.整.数.。神树大人命令龚诗锋从1号点开始走一个路径并最终回到1号点，且这条路径经过了所有的边。一条路径的代价就是它经过的边的边权之和。龚诗锋可以加若干条额外边，第i条加的额外边的边权为正.整.数.Ai。注.意.，龚.诗.锋.不.一.定.要.经.过.所.有.的.额.外.边.。由于龚
Cold_Chair·2019-06-26 20:37
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他