[李宏毅 机器学习笔记] Classification: Probabilistic Generative Model

---

前言

学习李宏毅老师的课程，所作的笔记，文中使用的PPT均来自李宏毅老师讲演PPT。

---

1. 概述

  对Probabilistic generative model进行原理的说明。

---

2. Classification

使用pokemon来说明这里问题
宝可梦有很多的系别，可以是水系，电系等等

  那我们现在要做的就是要给定一只宝可梦来判断说他属于哪个系别，那看起来就像这样

2.1 从概率的角度思考分类问题

  那第一步就是将我们需要分类的对象进行数值化，尽可能的能通过数据来描述我们的对象。对于宝可梦而言他具备很多特征值，诸多的特征值构成一个N维的特征向量，那我们可以说在某个向量空间下，向量X就代表了我们的某一只宝可梦。

  对对象进行了数值化那我们来假设一下理想的分类过程。

  和做Regression一样，我们需要一个model,这个model能够说输入一个x输出我们划分的类别。那为了update里面的参数，我们还需要Loss function，这里的Loss function可以定义为分类错误的总次数，那目标就是将分类错误的次数降到最低。
  这个时候不禁会想，那分类和回归的模式是一致的那我可以使用回归的方式去做也可以。但这并不建议，主要的原因有两点：
（1）在用做回归的方式得到结果后在对数值进行类别的划分，这里就默认了说各个类别之间存在这某些关系，2比3离1更近之类的关系。但往往实际的类别间是没有任何关系的。
（2）如下图所示

  可以看到红蓝两色时间上有明显的划分超平面，这里就是绿色的band,那通过Regression的方式处理图2哪些远远大于1的值的点会让这个线发生偏移，因为这样可以让loss更小。但实际上这样的分类结果的不可接受的。

  好，现在我们看一个这样的概率问题，很简单看图就能明白，这里用到了贝叶斯公式

  那这里的问题可以描述为，Box1是Class1,Box2是Class2,取出一个蓝色的球，那他的来自Class1的概率是多少。

---

2.2 实例说明

  这里training data set 有79只水系的宝可梦，61只一般的宝可梦，做一个二分类的问题。通过贝叶斯公式

  我们知道想要知道某一只宝可梦来自某一类的概率需要分别知道如下概率。

  那通过训练集的数据我们可以轻松得到

  但是P(x|C)似乎让我们陷入困境。因为x往往是未知的宝可梦。做分类的另一方面意义就是为了能够去估计数据集中不存在的sample的从属类的概率。

  这里选择了Defense和SP Defense这两个特征值，通过训练集的样本去估计未知宝可梦属于这一类的概率，这里假设了高斯分布。

  我们知道二维的高斯分布受μ和Σ控制，如下图

  这里为了让采样点可以最大可能的落在我们假设的分布上，我们需要找到最大的likelihood的参数。通过期望由样本均值代替，方差由样本方差代替，这样得到的likelihood最大

  由此我们得到两个类的高斯分布参数

  到这一步，我们就已经准备好了，这里选择概率大于0.5就是分类的依据。

  这样在training data 和 testin data 可以看到分类的boundary.但是结果坏掉了，尽管增加了所有的特征结果也很一般。

  调整原有的模型，将各自的Σ变成共用的Σ，至于为什么这样做，这样可以减少参数，来减少overfiting的可能性
计算如下图所示：

  结果如下图所示：

  总结一下就是这样的3个步骤

  现在对刚刚的模型进行变形，可以看到概率生成模型实际上通过获得N,μ,Σ来得到w和b,这里的sigoid函数如图示。

总结

  对概率生成模型进行了原理上的说明，最后通过一个变换得到了线性函数的样式，在由sigmoid函数处理，这位后续的分类方法提供了新的视角