李宏毅2021春季机器学习课程视频笔记2-分类神奇宝贝

分类任务描述

 宝可梦分类例子应用

 

 

 

 采用回归方法来做分类问题会存在的问题：

 理想解决方法：

 生成模型（Generative Model）:

选择使用盒子拿球的问题来解释。

 

 

 从水系的神奇宝贝中选择一只出来看它是乌龟的概率是多少？

 

 假设所有水系神奇宝贝都是从一个更高维的高斯分布中采样得到的。

 高斯分布

 假设水系神奇宝贝的Defense和SP Defense服从正太分布，利用现有的点分布计算高斯分布的参数，对于一个新的点X，则可以利用现有的高斯分布来计算其对应的概率：

 找到相应的高斯分布使得其Sample出这些点的概率最大，也就是最大。

 其中取得取得所有x的平均值得到最大L

 计算得到高斯分布参数（两个类别的参数）

 

 利用两维特征进行分类的效果仅有47%，采用七维特征进行分类仅有54的准确率：

 一个问题中的几个高斯分布一般都不会有自己均值和协方差矩阵，一般情况下会有自己的均值，但是会共享协方差矩阵（协方差矩阵随着数据的feature size 的怎加以平方的速度怎加，参数太多会导致模型产生比较严重的过拟合），可以在很大程度上减少模型参数。（为了共享协方差矩阵不会造成问题？）

 共享协方差矩阵：

 共享协方差矩阵时候，不同类别之间的boundary变成了一条直线（线性模型）。

 内容总结：

概率模型选择因人而定，而非必须采用高斯分布。

 后验概率