神经网络与深度学习第三章阅读

第三章线性模型

线性模型的公式

• W是d维权重集合，
• X是d维样本集合，

得到的预测结果y，，但是这个结果是一些离散标签，需要引入一个非线性的决策函数g()来预测输出目标

这里主要介绍的四中不同的线性分类模型：logistic回归，softmax回归，感知器（MLP），支持向量机（SVM）

3.1 线性判别函数和决策边界

3.1.1 二分类

3.1.2 多类分类

分类的类别数C大于2，需要多个线性判别函数。如果类别为，常用分类方式：

• 一对其余：多类分类转为C个一对其余的二分类
• 一对一：多类分类转为C(C-1)/2个一对一的二分类
• argmax：改进的一对其余方式，需要C个判别函数，能够解决“特征空间中存在难以确定类别的区域”的问题

3.2 Logistic回归

使用激活函数解决连续的线性函数不适合分类的问题，将线性函数值域压缩到(0,1)之间，表示概率。
在Logistic回归中，使用Logistic函数作为激活函数。
标签y=1的后验概率：

标签y=0的后验概率：

现在对上面的公式进行变换

3.2.1 参数学习

Logistic回归采用交叉熵作为损失函数，梯度下降作为参数优化。

3.3 softmax回归

也叫多项、多类Logistic回归，是多类分类问题的推广。

向量表示

决策函数是argmax

3.4 感知器

是一种简单的二类线性分类模型

3.4.2 感知器的收敛性

3.4.3 参数平均感知器

3.4.4 扩展到多类分类

3.5 支持向量机SVM

是一个经典两类分类算法，其找到的分割超平面具有更好的鲁棒性。

3.5.1 核函数

将样本映射到更高维度，解决原始特征空间线性不可分的问题。

3.5.2 软间隔

学的有点崩坏了，这本书得配合练习来做。