[机器学习入门] 李宏毅机器学习笔记-26（Structured Support Vector Machine part 1;结构化支持向量机part 1）

[机器学习入门] 李宏毅机器学习笔记-26（Structured Support Vector Machine part1 ;结构化支持向量机part 1）

PDF	VIDEO

---

首先回顾一下Structured Learning要解决什么问题？

Example Task Object Detection:

We must solve the three problems:

那么现在让我们假设前两个问题都解决了，只专注于第三个问题。

---

Outline

Assumption Separable

存在一个vector，使inner product后的点满足公式要求。

那么我们可以通过以下方法来的到这个vector，当w不更新时，就找到了它。

那么这种更新参数的方式可行吗？答案是可行的，首先我们先亮出结论：

Warning of math，简短证明以上结论：

End of math.

How to make training fast？

---

Non-separable Cace

假设说，找不到任何一个正确的答案能高过其他错误的，但即使这样也有高下之分，很明显左边是要好于右边的。

Defining Cost Function

那么可以 用 gradent decent 来minimize C

下图，当w 不同时，y是不同的，那么怎样固定住y呢？我们发现，max能在w构成的space 中，将y划分为几个区域，每个区域存在固定的y’，y‘’，y”’等。

而此时黄色公式即很容易表达了，所以每一个区域的gradent对w的微分都可以求出来，这个能求出来，就可以用gradent decent了。

---

Considering Errors

那么下面我们要将上述的cost概念进化一下，上面我们是对错误的答案一视同仁的，即只有对错，但是实际上它们却差别很大，有的错误是跟正确答案很接近的，所以我们要将错误分出等级。

如何进化我们的Cost Function呢？

怎样去量化差距呢？运用了面积、交集思想。

核心精神就是，夸大它们的差距，好就更高，错就更错。

那么我们如何用gradent decent 来update呢？与上篇的方法差不多。

那么刚刚的cost function 有另外一个观点可以来解释它。

为什么这个是正确的？

More Cost Functions，core spirit 核心精神是一样的。