卷积神经网络论文学习（Lecun1998）

Ⅰ.介绍

A.数据学习

自动机器学习可以归纳为，是第p个输入模式，W是学习权值，是识别类标号。
损失函数，理想输出。

，目标是最小化平均损失以及最小化，所以是个折中问题。其中，h是机器的有效容量（h越大会产生过拟合），P是训练样本，其它是常数。

实际上的最小化函数为，H(W)为正则项，其能限制参数空间的容量。

B.梯度学习算法

随机梯度下降：。

C.梯度反向传播

将如此简单的算法应用到复杂的机器学习问题的原因：

1.实际上局部最小解不会影响问题的实现。
2.简单有效的计算梯度的算法，如反向传播。
3.将反向梯度应用到sigmoid单元能解决复杂的学习任务。

D.手写体识别系统的学习问题

最难的一点不是识别一个字符，而是从一个句子或单词中分割出一个个字符。这样的技术已成为标准，叫HOS(Heuristic oversegmentation)。

在人工标签中会遇到的一些问题，例如，将数字4的右边部分识别为标签1还是非字符？数字8的右边是否应该识别为3？问题解决需要用到GTN(Graph transformer network)。

E.全局可训练系统

要使系统能使用后向传播来训练，模型必须是可微分和连续的。

知道Ep对Xn的偏导，就能计算出Ep对W和Xn-1的偏导。

Ⅱ.卷积神经网络进行字符识别

使用传统全连接神经网络进行字符识别的问题：

1.输入图片大，需要的隐藏层神经元多，所以要训练的参数会很多,内存消耗大。无结构网络的主要缺点是无法学习到不变性特征（不会因平移，扭曲等变换而变化的特征）。尽管足够大的全连接神经网络能学习不变性特征，但会导致学习的权值在不同位置上出现相似的权值模式，同时学习这些权值需要很多训练样本。

2.没有考虑输入数据的拓扑结构，如局部相关性（能够提取和结合局部特征去识别目标）。

卷积神经网络的优点：

1.权值共享可以自动学习到平移不变性特征。

2.局部感受野可以提取到局部特征。

A.卷积网络

1.局部感受野

提取局部的初级视觉特征（边缘，端点，角落），可以组合不同初级特征构成高级特征。

2.权值共享

因为局部图像的初级特征检测器对于整幅图非常有用，所以利用这个知识，将图片不同位置的感受野设置为具有相同权值的向量。可以减少训练参数的数量，所以减少机器容量h。

3.时间空间下采样

一旦特征被提取出来，特征的具体位置就变得没那么重要，只有几个特征的相对位置关系比较重要。特征的精确位置不但与识别目标没关，而且存在危害，因为不同的字符样本的位置会不同。所以使用下采用可以使具体位置变得模糊，降低feature map的分辨率，同时减少对平移扭曲变换的敏感度。