吴恩达机器学习系列课程笔记——监督学习常见模型

该系列笔记内容是楼主在观看课程时记录的，其中图片是视频中ppt的截图，内容仅供参考，有问题欢迎大家指出。

监督学习（Supervised Learning）常见模型

• 监督学习是从标记的训练数据（一般人工地对收集的数据打标签）中来学习一个由输入到输出的映射模型
• 在监督学习中，每个实例都是由一个输入对象x（通常为矢量）和一个期望的输出值y（也称为监督信号）组成

1. 回归问题模型

• 回归问题如股价预测、房价预测等，是预测连续数量的任务，旨在找到对应的发展趋势

1.1 线性回归模型（Linear Regression）

1.1.1 单变量线性回归（Univariate Linear Regression）

如何描述线性回归假设函数

• h（hypothesis）表示线性假设函数，是找出数据集线性最佳符合的函数
• 上图右侧绘制除了仅有单变量x的线性曲线，其中θ₀是偏置，θ₁是权值，该回归模型就是简单的一元一次方程

多个单变量线性回归假设函数求预测值

• 如上图所示，当有众多单变量回归假设函数时，可以将特征值以及假设权值向量化，进行矩阵的乘法运算，最终得到的矩阵即为三种预测值

1.1.2 多元线性回归模型（Multivariable Linear Regression）

多元线性回归假设函数

• 一般情况下，同时会有多个特征导致最终趋势的走向，因此可以通过线性的添加向量及权值形成多元一次方程，进而提供更好的预测
• 多元假设函数可以看作权值向量Θ的转置与特征向量X的乘积，其中x₀可以视为值为1的特征$$h_{\theta }(x)={\Theta }^{T}X$$

1.2 多项式回归模型（Polynomial Regression）

多项式回归示例

• 相比起单线性回归模型，多项式假设函数用于拟合复杂趋势（非线性函数）
  
  

2. 分类问题模型

• 分类问题如图像识别、垃圾邮件识别等，是预测离散类标签的任务，旨在找到类别间的边界
  

线性回归模型在分类问题中的缺陷

• 如上图所示，线性回归算法用于分类问题上结果不稳定，且预测值可能会出现给定分类范围外的值，因此需要引入新的假设函数进行学习

2.1 线性分类器（Linear Classifier）

2.1.1 逻辑回归模型（Logistic Regression）

以下介绍使用sigmoid函数作为假设函数

1）二分类问题

二分类假设函数

• 逻辑回归模型中的假设函数与线性回归模型的相比，公式中多了个g函数（即sigmoid函数），该函数里的参数z可以是线性回归或多项式回归函数

二分类预测值解释

• 假设函数的输出结果是某个分类的概率值，在二分类中属于[0, 1]区间内的实数

2）多分类问题

• 对于多分类问题，则利用一对多思想（one-versus-all）——将多分类问题转化为二分类
  

一对多思想

• 最终生成n个分类器（每个分类器可以极大程度识别一个类），当进行测试时，将每个分类器都跑一遍，并选出效率最好的那个分类器作为该预测的类
• 于二分类不同的是，多分类是由向量形式表示最终的类别，如用[0, 1, 0, 0]表示总共4类的第2类，而二分类直接用0或1表示

3）决策边界（Decision Boundary）

线性边界

多边形边界

• 在具有两个类的统计分类问题中，决策边界或决策表面是超曲面，其将基础向量空间划分为两个集合
• 根据θ值可以确定决策边界
• 决策边界是逻辑回归模型假设函数的属性，与数据集无关

2.1.2 支持向量机（SVM，Support Vector Machine）

• 支持向量机（SVM，support vector machine）也称为大间距分类器，使得决策边界与样本集直接的距离较远，从而获得更好的鲁棒性
  

SVM决策边界

• 与逻辑回归模型不同的是，其假设函数不会输出概率，而直接是预测值$$h_{\theta }(x)=\{\begin{array}{ll}0,& if{\Theta }^{T}X=0\\ 1,& otherwise\end{array}$$

1）核函数（Kernels）

• 将原始特征经过核函数的变化形成新的特征形式，根据线性表达式可以计算出每个新特征的值进行分类
• 下图为SVM使用常见核函数——高斯核函数（Gaussian Kernel）得到新的特征向量f，其中similarity函数表示 $\exp (\frac{\Vert x-l^{(i)}{\Vert }^2}{2{\sigma }^2})$ ，当样本数量对于特征数适中时可以使用高斯核函数

SVM使用高斯核函数

• 不使用核函数称为线性核函数（Linear Kernel），可以理解成标准的线性分类器，当特征远大于样本数时可以采用该方法，避免过拟合的出现
• 值得注意的是，若特征值大小很不一样，那么在使用高斯核函数前需要将特征变量的大小按比例归一化，否则会出现其中某几项影响程度很大（如图中房子面积的影响要远大于卧室数目）
  

注意归一化

• 理论上核函数可以用于其他线性算法，但实际上在逻辑回归算法中使用核函数反而会降低效率
• 当核函数满足默塞尔定理（Mercer’s Theorem）时，才能保证SVM优化算法是有效的
• 常用的核函数主要是高斯核函数和线性核函数，但还有很多其他复杂的核函数：
  • 多项式核函数（Polynomial Kernel），有两个重要的参数：多项式次数和常数项（如图所示）；在绝大多数时候不如高斯核函数有效，但当x和l都是严格非负数时可能会用到
  • 字符串核函数（String Kernel），当输入的数据是文本型时会用到
  • 卡方核函数（Chi-square Kernel）
  • 直方相交核函数（Histogram Intersection Kernel）
  • ……
    

其他核函数

2）多分类情况

1. 与逻辑回归一样使用一对多思想，即分别计算出不同类的θ值
   

其他核函数

2. 使用SVM相关库里的内置多分类函数

2.2 非线性分类器（Nonlinear Classifier）

参数为多项式的缺陷

• 假设函数参数为多项式时：当特征数量过多后，选择多项式参数的搭配成指数增长，容易出现过拟合问题，即使用正则化方式也不能有效的解决，因此引入非线性分类器帮助解决此类问题

2.2.1 神经网络（Neural Network）

• 如在CV应用领域下，像素特征组合过多（普通50*50的图片最后组合接近3万种特征），由此引入了神经网络，该方式可以很好的解决此类问题

2.3 如何选择分类模型

• 当特征数多于样本数时，或当特征数小而样本数很多时，用逻辑回归或线性核函数的SVM处理效果更好
• 当特征数小而样本数适中时，带有核函数的SVM处理效果更好
• 设计良好的神经网络对于以上情况都比较有效，但是相比其开发良好的SVM来说，运行速度有时会较慢；并且SVM是凸优化，有全局最优解，而神经网络可能会出现局部最优的问题

如何选择分类模型