白板推导-机器学习

https://www.bilibili.com/video/BV1aE411o7qd

文章目录

  • SVM
    • 线性可分SVM
    • 线性不可分支持向量机
    • 约束优化问题

SVM

线性可分SVM

借助乘子法将带约束变成无约束

白板推导-机器学习_第1张图片
白板推导-机器学习_第2张图片

白板推导-机器学习_第3张图片

线性不可分支持向量机

w ∗ w^{*} w是关于数据的线性组合

只有支持向量的 λ i \lambda_i λi才有值,其他的为0

白板推导-机器学习_第4张图片

白板推导-机器学习_第5张图片(上图漏了个 Σ \Sigma Σ,但问题不大)

可以看成损失函数为hinge,penalty为L2

白板推导-机器学习_第6张图片

约束优化问题

白板推导-机器学习_第7张图片
写成拉格朗日函数后,自动过滤了不好的x(不在约束范围内的x)

对偶性

弱对偶性

对偶问题<=原问题

d <= p

白板推导-机器学习_第8张图片
证明KKT条件就蕴含了强对偶性(难点)

看到p6了

https://www.bilibili.com/video/BV1Hs411w7ci?p=6&spm_id_from=pageDriver

你可能感兴趣的:(白板推导-机器学习)