对偶问题

机器学习（7）之支持向量机（SVM）

目录1知识回顾1.1梯度下降法1.2拉格朗日乘子法1.2.1对偶问题1.3KKT条件1.3.1KKT条件总结1.4最优化问题的求解1.5距离知识回顾1.6感知器模型2SVM2.1线性可分SVM2.1.1
天涯未抵·2020-01-06 12:00

机器学习——SVM算法

对偶问题举例：1、求最小值
前朝明月照沟渠·2020-01-02 22:00

SVM系列第八讲--原始问题求解

1、问题回顾在第四讲中，我们得到最大间隔分类器所满足规划问题：规划问题这里我们首先将问题求解为一个求最小值的问题，不难发现，原问题和下面的问题是等价的：等价问题2、原始问题到对偶问题根据拉格朗日乘子法，
文哥的学习日记·2020-01-01 13:50

【机器学习基础】核支持向量机

这个对偶形式告诉我们SVM背后的一些集合意义，再者，有了这个对偶问题，我们要求解的难度和转换的高维空间的维度好像没有关系。在这一小节中，我们就之前未解决的问题继续探讨，使用核技巧的方式高效求解SVM。
JasonDing·2019-12-30 20:19

支持向量机(SVM) （2）

今天，我们将真正进入支持向量机的算法之中，大体的框架如下：1、最大间隔分类器2、线性可分的情况（详细)3、原始问题到对偶问题的转化4、序列最小最优化算法1、最大间隔分类器函数间隔和几何间隔相差一个∥w∥
孔子想了想然后说子曰_·2019-12-27 05:27

用讲故事的办法帮你理解SMO算法

SVM通常用对偶问题来求解，这样的好处有两个：1、变量只有N个（N为训练集中的样本个数），原始问题中的变量数量与样本点的特征个数相同，当样本特征非常多时，求解难度较大。
milter·2019-12-17 18:53

支持向量机 （SVM）2

二、核函数上一节我们说到，在引入对偶问题与KKT条件以后，此时的w为于是此时的模型从wx+b转换成了另一个形式：以下的核函数，都是基于上面的式子来说的：对于比较简单的样例，比如X=[x1,x2]只有两个特征
小碧小琳·2019-12-13 02:28

西瓜书笔记02：支持向量基

支持向量基@[拉格朗日乘子法|对偶问题|KKT条件|核函数|hinge损失]存在多个超平面将样本划分的情况下，选择对训练样本局部扰动容忍性最好的。间隔与支持向量划分超平面的法向量为，则超平面为。
叫我e卵石·2019-12-12 21:57

机器学习入门（十五）：SVM——对偶学习算法

对偶问题上一篇我们用x和y各代表一个维度，用z=f(x,y)和g(x,y)=0分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。
米饭超人·2019-12-12 16:49

拉格朗日乘子法和 KKT 条件

    这篇博文中直观上讲解了拉格朗日乘子法和KKT条件，对偶问题等内容。    
百分点技术圈·2019-12-07 11:51

机器学习——支持向量机（SVM）

目录支持向量机（SVM）1、基本原理2、软间隔3、核函数4、sklearn实现SVM5、SVM多分类4.1多分类原理4.2sklearn实现SVM多分类前言：参考《机器学习》，对偶问题没看懂。。。。
Tao_RY·2019-11-27 21:00

A-08 拉格朗日对偶性

目录拉格朗日对偶性一、原始问题1.1约束最优化问题1.2广义拉格朗日函数1.3约束条件的考虑二、对偶问题三、原始问题和对偶问题的关系3.1定理13.2推论13.3定理23.4定理3(KTT条件)更新、更全的
十七岁的有德·2019-10-16 17:00

SVM之KKT条件理解

求解最优超平面，即求最大化间隔，或最小化间隔的倒数：||w||2/2，约束条件为yi(wTxi+b)>=1因为此函数为凸函数（拉格朗日乘子法的前提条件），可用拉格朗日乘子法转化为对偶问题，当满足KKT条件时
我的锅·2019-10-02 11:00

【统计学习方法】不等式约束，拉格朗日对偶函数，KKT条件

2KKT条件（原问题和对偶问题相
idwtwt·2019-09-20 10:54

【统计学习方法】附录C 拉格朗日对偶性

文章目录1.原始优化问题等价拉格朗日的极小极大问题2.对偶问题3.原问题和对偶问题的关系1.原始优化问题等价拉格朗日的极小极大问题原始优化问题ci(x)c_i(x)ci(x)为不等式约束hj(x)h_j
乌鱼阳光·2019-09-18 15:34

支持向量机 (三)： 优化方法与支持向量回归

拉格朗日乘子法-KKT条件-对偶问题支持向量机(一)：线性可分类svm支持向量机(二)：软间隔svm与核函数支持向量机(三)：优化方法与支持向量回归优化方法一、SMO算法回顾支持向量机(二)中\((1.7
massquantity·2019-08-30 01:00

统计学习方法—SVM推导

目录SVM1.定义1.1函数间隔和几何间隔1.2间隔最大化2.线性可分SVM2.1对偶问题2.2序列最小最优算法（SMO）3.线性不可分SVM3.1松弛变量3.2求解对偶问题3.3支持向量求解参数\(w
breezezz·2019-08-11 17:00

凸优化基础知识笔记-凸集、凸函数、凸优化问题

文章目录1.凸集2.凸函数2.1.凸函数的一阶条件2.1.凸函数例子3.凸优化问题4.对偶4.1.Lagrange函数与Lagrange对偶4.2.共轭函数4.3.Lagrange对偶问题4.4.强对偶性与
lankuohsing·2019-08-11 00:27

拉格朗日对偶性(Lagrange duality)

目录拉格朗日对偶性(Lagrangeduality)1.从原始问题到对偶问题2.弱对偶与强对偶3.KKT条件Reference：拉格朗日对偶性(Lagrangeduality)1.从原始问题到对偶问题 
breezezz·2019-08-05 16:00

凸集、凸函数、凸优化的一些笔记

半空间C、仿射集D、欧几里得球，范数球，椭球等E、凸锥，范数锥等超平面和半空间概念仿射变换二、凸函数二、性质2.1、一阶条件2.2、二阶条件Jensen不等式三、凸优化优化问题的基本形式：凸优化问题：对偶问题
ding_programmer·2019-08-03 11:05

SVM优化对偶问题

Datawhale学习目标优化实例优化问题求解方式等式优化问题—拉格朗日乘子法不等式优化问题—KKT条件对偶问题1优化实例设平面上有两个线段u1,u2u_1,u_2u1,u2和v1,v2v_1,v_2v1
Datawhale·2019-07-14 22:02

《统计学习方法(第二版)》学习笔记 第七章 支持向量机

基本概念2.超平面和点到超平面的距离2.1超平面的函数表示2.2点到超平面的距离3.函数间隔和几何间隔3.1函数间隔3.2几何间隔4.线性可分支持向量机4.1硬间隔最大化4.2学习的对偶算法4.3求解对偶问题
忆殇DR·2019-07-08 11:32

支持向量机 (二)： 软间隔 svm 与 核函数

拉格朗日乘子法-KKT条件-对偶问题支持向量机(一)：线性可分类svm支持向量机(二)：软间隔svm与核函数软间隔最大化（线性不可分类svm）上一篇求解出来的间隔被称为“硬间隔(hardmargin）“
massquantity·2019-07-01 20:00

机器学习面试问题

从分类平面，到求两类间的最大间隔，到转化为求间隔分之一，等优化问题，然后就是优化问题的解决办法，首先是用拉格拉日乘子把约束优化转化为无约束优化，对各个变量求导令其为零，得到的式子带入拉格朗日式子从而转化为对偶问题
孙有涵·2019-06-24 14:31

机器学习面试简答题（持续更新）

求解最大化距离时，可以使用拉格朗日乘数法将问题转化为其对偶问题。2、树形结构为什么不需要归一化？归一化的目的：避免数值较大的特征影响数值较小的特征。需要归一
小白的进阶之路·2019-06-06 17:45

周志华《机器学习》(西瓜书) ——相关数学知识整理：拉格朗日乘子法与KKT条件

当求解带不等式约束的最优化问题时，通常会将原问题转化为对偶问题进行求解，这时往往会要求函数满足KKT条件。  
月边云·2019-06-02 21:57

西瓜书学习——第六章支持向量机

通过这周对西瓜书第六章的学习，记录笔记如下：第六章支持向量机——间隔与支持向量与对偶问题 第六章支持向量机——对偶问题第六章支持向量机——软间隔与正则化第六章支持向量机——软间隔与支持向量回归   
jona1987·2019-06-01 00:00

西瓜书学习笔记——第六章：支持向量机

西瓜书学习笔记——第六章：支持向量机（含公式推导）6.本章简介6.1间隔与支持向量6.2对偶问题6.2.1转换对偶问题6.2.2求解对偶问题6.3核函数6.4软间隔与正则化6.4.1软间隔6.4.2正则化
Andrewings·2019-05-30 21:16

周志华《机器学习》(西瓜书) —— 学习笔记：第6章 支持向量机

文章目录6.0学习导图6.1基本流程6.2对偶问题6.3核函数6.4软间隔与正则化6.5支持向量回归6.6核方法6.0学习导图6.1基本流程  给定训练样本集D={(x1,y1),(x2,y2),…,(
月边云·2019-05-30 01:35

西瓜书第六章学习笔记

文章目录1.知识脉络2.对知识脉络的一些补充2.1间隔与支持向量2.2对偶问题2.3核函数2.4软间隔与正则化2.5支持向量回归SVR6.6核方法补充：支持向量机与神经网络的联系参考tip：此笔记需要配合
UEVOLIshy·2019-05-26 00:00

拉格朗日乘子法 - KKT条件 - 对偶问题

接下来准备写支持向量机，然而支持向量机和其他算法相比牵涉较多的数学知识，其中首当其冲的就是标题中的拉格朗日乘子法、KKT条件和对偶问题，所以本篇先作个铺垫。大部分机器学习算法最后都可归结为最优化问题。
massquantity·2019-05-04 19:00

凸优化，对偶问题与拉格朗日函数

凸优化问题的重要性质：1.凸优化问题的可行域为凸集2.凸优化问题的局部最优解即为全局最优解对偶问题一般优化问题的拉格朗日乘子法拉格朗日函数对固定的x，拉格朗
Baby-Lily·2019-03-30 18:00

SVM分类

目录1.1Logistic回归线性分类器1.2SVM概述：1.3深入SVM1.3.1对偶问题求解的三个步骤1.3.2核函数1.3.3使用松弛变量处理outliers方法1.1Logistic回归线性分类器给定一个分类超平面将空间中的数据分为两类
问道_bin·2019-03-28 21:48

深入理解拉格朗日乘子法和KKT条件的原理及运用

拉格朗日乘子法求解带等式约束的最优化问题四、引入KKT条件求带不等式约束条件的最优化（一）实例理解带不等式约束条件的最优化（二）满足KKT条件下的利用拉格朗日函数求带不等式约束的最优化问题（三）原最优化问题转对偶问题参考一
Laurel1115·2019-03-06 15:04

最大流思维题-5639Deletion&bzoj3130费用流&3716: [PA2014]Muzeum

考虑最小割的对偶问题最大流：等价于保安点喷
ccosi·2019-03-04 18:25

机器学习面试问题整理(2) — SVM支持向量机

SVM原问题和对偶问题关系？SVM在哪个地方引入的核函数,如果用高斯核可以升到多少维?SVM怎么防止过拟合?SVM的目标函数。常用的核函数。
Lestat.Z.·2019-02-24 09:00

SVM对偶问题

http://www.hanlongfei.com/convex/2015/11/05/duality/http://www.hanlongfei.com/convex/2015/11/08/kkt/
Catherine_985·2019-01-28 17:01

SVM对偶问题

http://www.hanlongfei.com/convex/2015/11/05/duality/http://www.hanlongfei.com/convex/2015/11/08/kkt/
Catherine_985·2019-01-28 17:01

约束优化、拉格朗日对偶问题

文章目录优化问题分类根据约束条件分类根据优化函数和约束条件分类无约束优化求解方法等式约束优化求解方法不等式约束优化求解方法拉格朗日对偶问题优化问题分类根据约束条件分类  约束问题分为无约束优化问题、等式约束优化问题
Leon_winter·2019-01-27 17:50

提升方法_统计学习方法_学习笔记

但是由于支持向量机的内容比较多而且耐人琢磨，因此在后面可能会考虑将其中的内容（例如对偶问题、SMO等）单独拆开并深入学习从而加深理解。
OliverLee456·2019-01-21 16:55

机器学习算法（4）——SVM（以及拉格朗日对偶问题）

假设在桌子上似乎有规律放了两种颜色的球，你用一根棍分开它们？要求：尽量在放更多球之后，仍然适用。”于是我们这样分了：然后我们往在桌上放了更多的球，似乎有一个球站错了阵营；SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙trick。现在即使我们放了更多的球，棍仍然是一个好的分界线。然后，我们看下面的另一种情况。现在我们没有棍可以很好分开两种球了，现在怎么办呢？我们把球拍飞到空中。然后抓
菜鸟知识搬运工·2019-01-19 17:39

《机器学习实战》之六——支持向量机（一）

SVM目录一、什么是SVM二、将SVM转换为数学问题（一）“决策面”方程（二）“分类间隔”方程（三）SVM优化问题（四）SVM的约束条件三、求解SVM的数学问题（一）拉格朗日（二）对偶问题求解四、求解数学问题
潘多拉星系·2019-01-15 15:41

运筹优化（四）--线性规划之对偶问题和灵敏度分析

线性规划的灵敏度分析，是指模型参数的变化，对优化结果的影响分析，分定性和定量两种。定性分析这里的定性分析，指参数变化，对结果的影响，比如不变，变坏或者变差。松约束和紧约束放宽优化模型中的约束条件会使模型最优值不变或者更优。收紧优化模型中的约束条件会使模型最优值不变或者更差。依据是因为修改了约束条件意味着修改了可行域，也会有新的可行解或者减少可行解。因此，体现在右端系数RHS变化，左端系数LHS变化
Eason.wxd·2019-01-12 14:54

【机器学习算法】支持向量机SVM

文章目录线性可分超平面支持向量机算法推导几何间隔支持向量对偶问题非线性SVM核函数松弛变量SMO算法合页损失函数线性可分  在二维平面中，正样本和负样本可以由一条直线完全隔开。
Mankind_萌凯·2018-12-31 13:17

【西瓜书】第6章 通俗理解SVM及拉格朗日对偶、SVM核函数

因为我比较小白，直接看《西瓜书》有点不知所云，不知道公式怎么就到下一步了，所以觉得这样的博客真的很赞，后面对偶问题KTT条件什么的自己再查查其他资料，然后
20%橙小鱼·2018-12-25 11:35

机器学习之支持向量机SVM（完整版）

目录1支持向量机简介2线性可分支持向量机2.1什么是线性可分2.2什么是几何间隔2.3最大几何间隔分离超平面2.4支持向量和最大几何间隔3线性支持向量机3.1支持向量4KKT条件和对偶问题4.1线性可分支持向量机
leboop·2018-12-20 20:34

[NOI2008]志愿者招募，洛谷P3980，线性规划对偶定理以及整数解

它的对偶问题也很容易构造出来。再来看对偶之后的A矩阵，一定是一个01矩阵，并且需要的人数和单价都为整数，那么就符合整数解的条件。连构造初始解都不用，直接上单纯形。
Deep_Kevin·2018-12-02 20:20

机器学习从零单排（白银五）——CNN

机器学习的课程已经过半，中间凸优化，对偶问题占了很大一部分。由于数学公式的繁琐和我掌握的不够透彻，就不写成blog了。
东来_198c·2018-11-30 22:14

拉格朗日对偶性

拉格朗日对偶性在机器学习中，我们经常会遇到给定某些约束条件求解某个函数最大值或最小值的情况，称之为约束最优化，通常的做法是利用拉格朗日对偶性将原始问题转化为对偶问题，通过解对偶问题进而得到原始问题的解.
JN_rainbow·2018-11-28 17:33

支持向量机—KKT条件 （二）

在上一节支持向量机公式推导中，我们有一些公式只是给出了结果，却没有解释如何得来的，这一节我们将探讨如何将原始问题转为对偶问题，并推导出KKT条件。
FUCCKL·2018-11-24 12:41
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他