深度学习笔记【三】

1、CNN的作用
CNN 最擅长的就是图片的处理。
两大特点：
（1）能够有效的将大数据量的图片降维成小数据量
（2）能够有效的保留图片特征，符合图片处理的原则
卷积层负责提取图像中的局部特征；
池化层用来大幅降低参数量级(降维)，可以增大深层卷积的感受野
全连接层类似传统神经网络的部分，用来输出结果。

2、1*1卷积
1x1卷积一般只改变输出通道数（channels），而不改变输出的宽度和高度。
作用：
（1）降维、升维
（2）增加非线性。1*1卷积核，可以在保持feature map尺度不变的的前提下大幅增加非线性特性（利用后接的非线性激活函数），把网络做的很deep。
（3）跨通道信息交互（channal 的变换）。使用1x1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化。
参考：https://zhuanlan.zhihu.com/p/40050371

3、如果去掉激活函数会怎样？
如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。而大多数原始数据为非线性分布。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

4、感受野概念
一个卷积核可以映射原始输入图的区域大小。