凸函数-不等式

pytorch如何定义损失函数_PyTorch学习笔记——多分类交叉熵损失函数

来衡量识别一个样本所需的编码长度的期望，即平均编码长度（信息熵）：如果使用拟合分布q来表示来自真实分布p的编码长度的期望，即平均编码长度（交叉熵）：直观上，用p来描述样本是最完美的，用q描述样本就不那么完美，根据吉布斯不等式
weixin_39851918·2022-12-14 08:06

【机器学习】EM 算法

在本文中规定，下凸函数为类似于f(x)=x2f(x)=x^2f(x)=x2的函数，上凸函数为类似于f(x)=−x2f(x)=-x^2f(x)=−x2的函数，f(x)=kx+bf(x)=kx+bf(x)=
不牌不改·2022-12-14 06:22

数学知多少

├─初等数学│几何的有名定理（矢野健太郎）.pdf│几何变换第二册（U.M.亚格龙）.pdf│几何不等式（O.Bottema等）.pdf│美国新数学丛书几何学的新探索（H.S.M.考克瑟特S.L.格雷策
afslc17394·2022-12-14 06:48

数学规划（Python cvxpy、scipy.optimize）

②目标函数，f(x)③可行域，，常用一组不等式(约束条件)表示：当目标函数和约束条件对于决策变量而言都是线性的时，称为线性规划2.模型特征①比例性，决策变量对目标函数和约束条件的“贡献”，与决策变量的取值成正比
Zengwh_02·2022-12-14 04:47

机器学习——支持向量机

目录一、什么是SVM二、最大间隔与分类三、对偶问题一、等式约束二、不等式约束的KKT条件三、KKT四、SMO高效优化算法五、通过SMO-SVM实现对莺尾花数据集的二分类六、总结一、什么是SVMSVM是一种监督机器学习算法
guanze1·2022-12-14 01:47

【机器学习课程复习】

没搞完先发了吧一、机器学习概论1.机器学习定义机器学习的概念机器学习的定义2.机器学习基本知识可以使用ML的三个必要条件基本术语工作流程分类二、机器学习理论霍夫丁不等式三、模型优化与验证方法模型选择方法一
ZHAO__JW·2022-12-13 20:31

EM算法和GMM

Jensen不等式回顾优化理论的一些概念。设f是定义域为实数的函数，如果对于所有实数x，f′′≥0，那么f是凸函数。当x是向量时，如
zhengjihao·2022-12-13 10:22

MIPS学习笔记（1）

MIPS学习笔记（1）文章目录MIPS学习笔记（1）背景指令与立即数数据传输指令MIPS基本决策机制乘除法指令算术溢出位运算指令移位指令不等式伪指令实现函数函数调用约定存储型程序概念R型指令I型指令B类指令
kascas·2022-12-13 09:11

python最优化算法实战---线性规划之内点法

1.内点法概述内点法是求解线性规划的一个方法，是求解不等式约束最优化问题的一种十分有效的方法，但不能处理等式约束。
如果大雪封门·2022-12-12 10:10

深度机器学习中的batch的大小对学习效果有何影响？

知乎链接凸函数，凹函数：凸函数是一个定义在某个向量空间的凸子集C（区间）上的实值函数f，而且对于凸子集C中任意两个向量,f((x1+x2)/2)>=(f(x1)+f(x2))/2,则f(x)是定义在凸子集
tang-0203·2022-12-11 23:31

最优化理论与方法1

一般包括三个方面：1.决策变量2.一个或多个目标函数3.一个由可行性策略组成的集合，可由不等式或等式刻画。举个例子：这里面的x表示的决策变量，h和g分别是等式约束和不等式约束，f是目标函数。
小飞猪Jay·2022-12-11 04:02

最优化理论与方法 第一章

最优化理论与方法第一章内容摘要1.2数学基础1.2.1范数1.3凸集和凸函数1.4无约束问题的最优性条件1.4最优化方法的结构内容摘要本书主要研究无约束最优化问题(3-7)、约束最优化问题(8-13)及非光滑优化问题
跌跌撞撞走向前方·2022-12-11 04:59

陈宝林《最优化理论与算法》超详细学习笔记 （八）————最优性条件

陈宝林《最优化理论与算法》超详细学习笔记（八）————最优性条件无约束问题的极值条件必要条件二阶充分条件充要条件约束极值问题的最优性条件不等式约束的一阶最优性条件无约束问题的极值条件考虑非线性规划问题minf
River_J777·2022-12-11 04:28

逻辑回归

简介~假设~损失（似然）~推导~梯度（全大慢，随局小减）梯度~反向传播~实例~局部~凸函数一、逻辑回归简介一句话概括：逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的这里面其实包含了
weixin_30572613·2022-12-11 00:18

梳理L1、L2与Smooth L1

在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
柴布奇诺·2022-12-11 00:42

深度学习常见算法之梯度下降法

当目标函数是凸函数时，梯度下降算法的解是全局解，一般情况下，其解不保证是全局最优解，梯度下降的速度也未必是最快的。梯度下降法的最优化思想也是用当前位置负梯度方向最为搜索方向，因为该方向为
HangoverLG·2022-12-10 15:22

（EM算法）The EM Algorithm

1.Jensen不等式回顾优化理论中的一些概念。设f是定义
whatry·2022-12-10 15:08

EM算法

1.Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。
weixin_33739541·2022-12-10 15:05

【最优化笔记2】线性规划--理论准备部分(线性规划基本定理等）

线性规划（LP）就是由目标函数为决策变量的线性函数和约束条件为线性等式或线性不等式所组成的数学规划。
飞今天也很开心·2022-12-09 16:52

数据挖掘与机器学习课程总结

(KnowledgeDiscoveryfromData,KDD)1.2数据挖掘应用二、学习的可行性2.1Hoeffding不等式（Hoeffding’sInequality）2.2用Hoeffding不等式说明学习的可行性三
飞今天也很开心·2022-12-09 16:41

最优化理论与方法2--算法篇

因为可以有多种方法将各类等式或者不等式约束的优化问题转换为无约束优化问题，比如利用KKT条件（乘子法），罚函数法，序列二次规划等。
Oxalate-c·2022-12-09 13:34

非线性规划基础（梯度下降）

非线性规划基础前言一、数学基础泰勒展开式凸集和凸函数二、梯度下降梯度梯度下降相关代码前言目标函数和约束条件中至少有一个是非线性时，该优化问题即为非线性规划问题。
孤影残生·2022-12-09 12:07

吴恩达机器学习笔记2——logistic回归2

实际上，用这个代价函数的话，会变成关于θ的非凸函数。
babychrislee3·2022-12-09 02:43

交叉熵损失函数分类_PyTorch学习笔记——多分类交叉熵损失函数

来衡量识别一个样本所需的编码长度的期望，即平均编码长度(信息熵)：如果使用拟合分布q来表示来自真实分布p的编码长度的期望，即平均编码长度(交叉熵)：直观上，用p来描述样本是最完美的，用q描述样本就不那么完美，根据吉布斯不等式
海南王先生·2022-12-08 13:28

考研数学 第7讲 零点问题和微分不定式

文章目录一.零点定理（闭开区间都可成立）2.单调性3.罗尔原话（判断最多有几根）例1.7.24.实系数奇次方程至少有一个实根例1.7.3例1.7.4（易）例1.7.7二.微分不等式1.用函数性态例1.7.8
吃不尽的lemon·2022-12-08 13:55

【考研数学】一. 极限与导数

1.基本知识点2.做题方法极限简单的等价无穷小已知一个极限求另一个极限保号性和保号性的推论极限的应用：求渐近线（水平渐近线，斜渐近线，铅直渐近线）导数求高阶导数分段函数求导求最值求交点（实根）个数证明不等式证明恒等式
如果皮卡会coding·2022-12-08 13:52

神经网络梯度下降算法--BP算法

1.梯度更新公式：其中为步长又叫学习率，为梯度公式表明梯度沿着负梯度方向更新权重参数2.假设cost是关于权重w的一个光滑的凸函数目的：找到cost取最小值时对应的权重w可以转化为找极值点的问题即当=0
weixin_45752264·2022-12-08 12:53

优化方法：SGD，Momentum，AdaGrad，RMSProp，Adam

SGDBatchGradientDescent在每一轮的训练过程中，BatchGradientDescent算法用整个训练集的数据计算costfuction的梯度，并用该梯度对模型参数进行更新：优点:costfuction若为凸函数
weixin_34133829·2022-12-08 08:04

Loss优化方法：SGD，Momentum，AdaGrad，RMSProp，Adam

BatchGradientDescent算法用整个训练集的数据计算costfuction的梯度，并用该梯度对模型参数进行更新：Θ=Θ−α⋅▽ΘJ(Θ)Θ=Θ−α⋅▽ΘJ(Θ)优点:costfuction若为凸函数
daisyyyyyyyy·2022-12-08 08:32

深度学习算法面试题总结（38题）

原文链接:https://blog.csdn.net/attitude_yu/article/details/809633231.什么是凸集、凸函数、凸学习问题？
薛定谔的炼丹炉！·2022-12-08 06:40

机器学习基础：梯度下降原理及代码实现

梯度下降及代码实现凸函数凸集：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。
猛男技术控·2022-12-07 15:18

不等式约束二次规划——有效集法

不等式约束二次规划——有效集法预备知识：有效不等式约束是等式约束总体思路如何寻找有效集1.x0∗=x0，λ≥0x_0^*=x_0，λ≥0x0∗=x0，λ≥02.x0∗=x0，λj≤0x_0^*=x_0，
薯一个蜂蜜牛奶味的愿·2022-12-07 15:38

机器学习笔记week2——最大似然估计，交叉熵，分类指标F1、ROC等

文章目录1梯度更新方式1.1凸集1.2凸函数2线性回归矩阵形式2.1奇异矩阵3最大似然估计4逻辑回归4.1交叉熵损失函数5分类指标1梯度更新方式1.1凸集凸集：一个点集S被称为凸集，当且仅当该S里的任意两点
shiinerise·2022-12-07 13:43

机器学习与数据挖掘复习笔记

算法机器学习与数据挖掘目录机器学习与数据挖掘复习线性回归简介详解最小二乘法梯度下降法正规方程对比支持向量机决策树（ID3)分类重要概念构造过程优缺点ID3的原理最大熵模型ID3算法练习题讲解朴素贝叶斯基本原理例子优缺点距离度量KNN思想流程三要素优缺点EM算法基本思想预备知识极大似然估计Jensen不等式
room_τ·2022-12-06 23:35

（人工智能）线性/非线性规划问题求解

目录一、问题描述二、拉格朗日和KKT条件的最优化问题1、等式约束的优化2、不等式约束的优化三、利用拉格朗日手工求解问题四、利用拉格朗日编程求解问题五、实际问题描述——媒体组合案例六、使用Excle实现线性规划七
想减肥的混子·2022-12-06 14:47

【LSSVM回归预测】人工蜂群算法优化最小二乘支持向量机LSSVM数据回归预测【含Matlab源码 2213期】

⛄一、人工蜂群算法优化最小二乘支持向量机LSSVM简介1最小二乘支持向量机最小二乘支持向量机是支持向量机的一种改进算法[9,10],它将SVM算法中的不等式约束转化为等式约束,采用最小二乘线性系统作为损失函数代替支持向量机所采用的二次规划方法
Matlab领域·2022-12-06 06:34

【学习笔记-1】- 非线性规划的最优性一阶/二阶必要条件之例题（12道）

学习材料：《运筹学》第4版清华大学出版社&《最优化理论与算法》第2版清华大学出版社&《线性代数》国立交通大学出版社主要内容：一、无约束非线性规划问题二、等式约束非线性规划问题三、不等式约束非线性规划问题四
阿尔法狒·2022-12-05 21:08

最优化的非线性例子集中

因为线性的函数是凸函数，因此约束不用证明了，只要证明目标函数是不是凸函数就OK，那怎么证明呢？
ninekwll0791·2022-12-05 21:37

最优化理论笔记及期末复习（《数值最优化》——高立）

目录一、预备知识二、无约束最优化方法的基本结构三、凸集和凸函数四、负梯度方法和Newton型方法五、共轭梯度法六、约束最优化问题的最优性理论七、罚函数方法八、期末复习8.1知识点复习8.2习题复习8.3
卡拉比丘流形·2022-12-05 16:22

支持向量机SVM思维导图

凸优化即目标函数和约束函数是凸函数，即可以找到最优解。之后进行求解时会用
笨笨犬牙·2022-12-05 15:53

MATLAB机器学习系列-7支持向量机原理及其代码实现

支持向量机原理分类如图，在分类中，我们需要找到一个超平面（图中包括间隔的平面）把圆圈和方框分开原问题间隔最小，同时保证真实输出和模型输出积大于1对偶问题原先的最小化问题变成了最大化问题，原先的不等式约束变成了等式约束
总裁余(余登武)·2022-12-05 15:53

EM算法

它的主要思想是把一个难于处理的似然函数最大化问题用一个易于最大化的序列取代，而其极限是原始问题的解3.EM算法分两步走：E步求期望，对隐变量进行积分；M步求参数最大值4.推导出EM算法有两个途径：ELBO+KL散度和ELBO+Jensen不等式
整得咔咔响·2022-12-05 12:07

线性回归模型公式推导

线性回归公式推导线性模型一、线性回归（一）一元线性回归1.由最小二乘法得出损失函数2.证明损失函数E(w,b)E(w,b)E(w,b)是关于www和bbb的凸函数3.对损失函数求关于b和w的一阶偏导数4
冷酷无情陈大定·2022-12-04 15:04

NLP学习笔记40-神经网络收敛性

二optimizationofdeeplearning这里老师简单提了下，我们知道凸函数是有全局最优解的。深度学习是非凸函数，highlynon-convexfunction.只有局部最优解。
bohu83·2022-12-04 09:30

SVM支持向量机实验（基于SVM的手写体数字识别）

文章目录最大间隔与分类对偶问题等式约束不等式约束的KKT条件二次规划SMO核函数软间隔与正则化支持向量回归实现SMO算法处理小规模数据集简化版SMO算法利用完整PlattSMO算法加速优化在复杂数据上应用核函数基于
gjy_hahaha·2022-12-04 07:32

机器学习西瓜书笔记：软间隔和支持向量回归SVR

损失函数要找性质好的，即凸函数，连续损失函数不要单纯只反映分类正确和错误（0/1损失函数）。而是分类正确时，损失记为0，分类错误
sunMoonStar_c·2022-12-03 14:34

概率论与数理统计 Chapter3. 随机变量的数字特征

Chapter3.随机变量的数字特征1.重要定义&定理1.数学期望（均值）1.定义2.性质2.中位数3.方差&标准差1.定义2.性质4.协方差&相关系数1.协方差2.相关系数5.大数定理1.大数定理2.马尔可夫不等式
Espresso Macchiato·2022-12-03 04:22

拉格朗日乘子_每日一题：拉格朗日乘数法求最值

注：这个题目是几年前的，从昨天开始又在群里出现了，所以把它重新发一下例题：思路：看到这个题目的时候起初觉得可以用基本不等式，但只要稍微计算一下发现是不可行的(计算比较麻烦)。然后又想到了三角换
weixin_39529463·2022-12-02 22:56

第五章 定积分&反常积分

考试概要一、定积分的概念2、定积分存在的充分条件3、定积分的几何意义二、定积分的性质1、不等式：2、中值定理：取值是开区间，可以利用中值定理证明三、积分上限的函数四、定积分的计算四个方法两个公式常见考题
LaVine·2022-12-02 17:28

国科大算法最优化期末复习

今年前面是几个填空题，主要考察凸函数，拟凸函数，单峰函数这些的图像判断，以及通过等高线图找到梯度方向（第一个ppt上的最后一页的那个图）。填空题主要就是考察这些基本概念。
精致又勤奋的码农·2022-12-02 07:38
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他