机器学习西瓜书第五章笔记

M-P感知机

神经网络最基本的成分是神经元模型，神经元接受来自n个其他神经元传递过来的输入，通过带权重的连接得到的总输入值与阈值比较，通过激活函数（常用sigmoid函数）处理得到神经元的输出。

感知机学习策略

感知机使用的优化算法

多层前馈神经网络

BP算法推导过程

深度学习

以卷积神经网络Lenet-5为例

LeNet-5包含七层，不包括输入，每一层都包含可训练参数（权重），当时使用的输入数据是3232像素的图像。下面逐层介绍LeNet-5的结构，并且，卷积层将用Cx表示，子采样层则被标记为Sx，完全连接层被标记为Fx，其中x是层索引。
层C1是具有六个55的卷积核的卷积层（convolution），特征映射的大小为2828，这样可以防止输入图像的信息掉出卷积核边界。
层S2是输出6个大小为1414的特征图的子采样层（subsampling/pooling）。每个特征地图中的每个单元连接到C1中的对应特征地图中的22个邻域。S2中单位的四个输入相加，然后乘以可训练系数（权重），然后加到可训练偏差（bias）。结果通过S形函数传递。由于22个感受域不重叠，因此S2中的特征图只有C1中的特征图的一半行数和列数。
层C3是具有16个5-5的卷积核的卷积层。前六个C3特征图的输入是S2中的三个特征图的每个连续子集，接下来的六个特征图的输入则来自四个连续子集的输入，接下来的三个特征图的输入来自不连续的四个子集。最后，最后一个特征图的输入来自S2所有特征图。
层S4是与S2类似，大小为22，输出为16个55的特征图。
层C5是具有120个大小为55的卷积核的卷积层。每个单元连接到S4的所有16个特征图上的55邻域。这里，因为S4的特征图大小也是55，所以C5的输出大小是11。因此S4和C5之间是完全连接的。
F6层完全连接到C5，输出84张特征图。它有10164个可训练参数。这里84与输出层的设计有关。