[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)

PDF VIDEO

Introduction

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第1张图片
这里写图片描述

Why semi-supervised learning helps?

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第2张图片
这里写图片描述

Semi-supervised Learning for Generative Model

Supervised Generative Model VS Semi-supervised Generative Model

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第3张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第4张图片
这里写图片描述

Step

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第5张图片
这里写图片描述

Why?

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第6张图片
这里写图片描述

Low-density Separation

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第7张图片
这里写图片描述

Self-training

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第8张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第9张图片
这里写图片描述

Entropy-based Regularization

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第10张图片
这里写图片描述

Outlook: Semi-supervised SVM

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第11张图片
这里写图片描述

Smoothness Assumption

核心思想:近朱者赤,近墨者黑

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第12张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第13张图片
这里写图片描述

Classify astronomy vs. travel articles

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第14张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第15张图片
这里写图片描述

更多的数据连在一起,很难分类,那么如何做呢?

Cluster(群集 ) and then Label

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第16张图片
这里写图片描述

这种方法不一定made sense ,需要class很强。
But,How to know x1 and x2 are close in a high density region (connected by a high density path)
还有另一种方法:

Graph-based Approach

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第17张图片
这里写图片描述

Graph Construction

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第18张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第19张图片
这里写图片描述

怎样在Graph 中定量地表示平滑度

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第20张图片
这里写图片描述

将该式子整理一下,换个形式

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第21张图片
这里写图片描述

如此,让smoothness 影响Loss,as a regularization term

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第22张图片
这里写图片描述

smoothness不一定要放在output上,放到任何一层都可以。


Better Representation

去蕪存菁,化繁為簡
Looking for Better Representation

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)_第23张图片
这里写图片描述

你可能感兴趣的:([机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习))