卷积神经网络（转）

CNNs的基础

        神经网络(neual networks)是人工智能研究领域的一部分，当前最流行的神经网络是深度卷积神经网络(deep convolutional neural networks, CNNs)，虽然卷积网络也存在浅层结构，但是因为准确度和表现力等原因很少使用。目前提到CNNs和卷积神经网络，学术界和工业界不再进行特意区分，一般都指深层结构的卷积神经网络，层数从”几层“到”几十上百“不定。  CNNs目前在很多很多研究领域取得了巨大的成功，例如: 语音识别，图像识别，图像分割，自然语言处理等。虽然这些领域中解决的问题并不相同，但是这些应用方法都可以被归纳为:  CNNs可以自动从(通常是大规模)数据中学习特征，并把结果向同类型未知数据泛化。

背景

半个世纪以前，图像识别就已经是一个火热的研究课题。

1950年中-1960年初，感知机吸引了机器学习学者的广泛关注。这是因为当时数学证明表明，如果输入数据线性可分，感知机可以在有限迭代次数内收敛[1]。感知机的解是超平面参数集，这个超平面可以用作数据分类。然而，感知机却在实际应用中遇到了很大困难，因为1)多层感知机暂时没有有效训练方法，导致层数无法加深，2)由于采用线性激活函数，导致无法处理线性不可分问题，比如“与或”。

这些问题随着后向传播(back propagation，BP)算法和非线性激活函数的提出得到解决。1989年，BP算法被首次用于CNN中处理2-D信号(图像)。

2012年，ImageNet挑战赛中CNN证明了它的实力，从此在图像识别和其他应用中被广泛采纳。

通过机器进行模式识别 ，通常可以被认为有四个阶段:

• 数据获取: 比如数字化图像
• 预处理: 比如图像去噪和图像几何修正
• 特征提取：寻找一些计算机识别的属性，这些属性用以描述当前图像与其它图像的不同之处
• 数据分类：把输入图像划分给某一特定类别

CNN是目前图像领域特征提取最好的方式，也因此大幅度提升了数据分类精度，我将在下文详细解释。

网络结构

基础的CNN由 卷积(convolution), 激活(activation), and 池化(pooling)三种结构组成。CNN输出的结果是每幅图像的特定特征空间。当处理图像分类任务时，我们会把CNN输出的特征空间作为全连接层或全连接神经网络(fully connected neural network, FCN)的输入，用全连接层来完成从输入图像到标签集的映射，即分类。当然，整个过程最重要的工作就是如何通过训练数据迭代调整网络权重，也就是后向传播算法。目前主流的卷积神经网络(CNNs)，比如VGG, ResNet都是由简单的CNN调整，组合而来。