跟李沐学AI-动手学深度学习-感知机+多层感知机

目录

感知机

训练感知机

 收敛定理

XOR问题

 总结

多层感知机

学习XOR

单隐藏层

单隐藏层-单分类

激活函数

sigmoid激活函数

 Tanh激活函数

ReLU激活函数

 多类分类

 多隐藏层

总结

---

感知机

给定输入x，权重w，和偏移b，感知机输出：

  二分类：-1或1。

回归输出实数、softmax回归输出概率。

训练感知机

等价于使用批量大小为1的梯度下降，并使用如下的损失函数：

 收敛定理

数据在半径r内。

余量p分类为两类，

 对于

，

感知机保证在

步后收敛。

XOR问题

 感知机不能拟合XOR函数，它只能产生线性分割面。

 总结

•  感知机是一个二分类模型，是最早的AI模型之一。
• 它的求解算法等价于使用批量大小为1的梯度下降。
• 它不能拟合XOR函数，导致的第一次AI寒冬。

多层感知机

学习XOR

单隐藏层

隐藏层的大小是一个超参数。

单隐藏层-单分类

激活函数

sigmoid激活函数

将输入投影到(0,1)，是一个软的

 

 Tanh激活函数

 将输入投影到(-1,1)

ReLU激活函数

ReLU：rectified linear unit

 多类分类

 

 多隐藏层

超参数

• 隐藏层数
• 每层隐藏层的大小 

总结

• 多层感知机使用隐藏层和激活函数来得到非线性模型。 
• 常用激活函数是Simoid，Tanh，ReLU。
• 使用Softmax来处理多类分类。
• 超参数为隐藏层数，和各个隐藏层大小。