[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part1 ;结构化支持向量机part 1)

PDF VIDEO

首先回顾一下Structured Learning要解决什么问题?

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第1张图片
这里写图片描述

Example Task Object Detection:

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第2张图片
这里写图片描述

We must solve the three problems:

这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第3张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第4张图片
这里写图片描述

那么现在让我们假设前两个问题都解决了,只专注于第三个问题。


Outline

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第5张图片
这里写图片描述

Assumption Separable

存在一个vector,使inner product后的点满足公式要求。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第6张图片
这里写图片描述

那么我们可以通过以下方法来的到这个vector,当w不更新时,就找到了它。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第7张图片
这里写图片描述

那么这种更新参数的方式可行吗?答案是可行的,首先我们先亮出结论:

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第8张图片
这里写图片描述

Warning of math,简短证明以上结论:

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第9张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第10张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第11张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第12张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第13张图片
这里写图片描述

End of math.

How to make training fast?

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第14张图片
这里写图片描述

Non-separable Cace

假设说,找不到任何一个正确的答案能高过其他错误的,但即使这样也有高下之分,很明显左边是要好于右边的。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第15张图片
这里写图片描述

Defining Cost Function

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第16张图片
这里写图片描述

那么可以 用 gradent decent 来minimize C

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第17张图片
这里写图片描述

下图,当w 不同时,y是不同的,那么怎样固定住y呢?我们发现,max能在w构成的space 中,将y划分为几个区域,每个区域存在固定的y’,y‘’,y'''等。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第18张图片
这里写图片描述

而此时黄色公式即很容易表达了,所以每一个区域的gradent对w的微分都可以求出来,这个能求出来,就可以用gradent decent了。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第19张图片
这里写图片描述

Considering Errors

那么下面我们要将上述的cost概念进化一下,上面我们是对错误的答案一视同仁的,即只有对错,但是实际上它们却差别很大,有的错误是跟正确答案很接近的,所以我们要将错误分出等级。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第20张图片
这里写图片描述

如何进化我们的Cost Function呢?

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第21张图片
这里写图片描述

怎样去量化差距呢?运用了面积、交集思想。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第22张图片
这里写图片描述

核心精神就是,夸大它们的差距,好就更高,错就更错。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第23张图片
这里写图片描述

那么我们如何用gradent decent 来update呢?与上篇的方法差不多。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第24张图片
这里写图片描述

那么刚刚的cost function 有另外一个观点可以来解释它。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第25张图片
这里写图片描述

为什么这个是正确的?

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第26张图片
这里写图片描述

More Cost Functions,core spirit 核心精神是一样的。

[机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)_第27张图片
这里写图片描述

你可能感兴趣的:([机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1))