吴恩达老师深度学习笔记第四课第二周

深度卷积网络实例探究

2.1为什么要进行实例探究
通过研究别人神经网络的架构，是一个学习深度学习不错的方法
接下来学习的
几种典型的networks
LeNet-5
AlexNet
VGG
ResNet残差网络
Inception
2.2经典网络
LeNet-5
介绍：针对灰度图像处理，大约有6万参数

AlexNet
介绍：AlexNet包含约6000万个参数，当用于训练图像和数据集时，AlexNet能够处理非常相似的基本构造模块，这些模块往往包含大量的隐藏单元或数据；它使用了Relu激活函数

VGG-16网络
的确简化了神经网络结构

2.3残差网络
远跳连接：它可以从某一网络层获取激活，然后循序反馈给另外一层，甚至是神经网络的更深层
我们可以利用跳远连接构建能够训练深度网络的ResNets
ResNets是由残差块构建的
理论上网络深度越深越好，但实际上，如果没有残差网络，对于一个普通网络来说，深度越深意味着用优化算法越难训练，实际上，随着网络深度的加深，训练错误会越来越多；但是有了ResNets就不一样了，极其网络再深，训练的结果也不错

2.4残差网络为何有用
通常一个网络越深，它在训练集上训练网络的效率就会减弱，但是事实上不都是如此
残差网络有用的主要原因：这些残差学习恒等函数非常容易，你能确定网络性能不会受到影响，很多时候甚至可以提高效率，或者说至少不会降低网络效率，因此创建类似残差网络可以提升网络性能

2.5网络中的网络以及11卷积
11的卷积，相当于遍历每一个数字，给每个数字乘上一个卷积核
作用：给神经网络添加了一个非线性函数，从而减少或保持输入层中的信道数目不变（也可以增加）
通过1*1卷积的简单操作可以压缩或者保持输入层中的信道数量，甚至增加信道数量

2.6谷歌inception网络简介
inception的作用：替你决定过滤器的大小究竟是13还是33，是不是要添加池化层等等
（其实我没看懂）
字幕：我们学会了怎么用1*1的卷积层来构建瓶颈层，从而大大降低计算成本

2.7inception网络
字幕：我们会学习怎么把构建inception网络的模块综合起来，

备注：我看不懂加一

2.8使用开源的实现方案
介绍了怎么使用谷歌查看开源代码（GitGub）
2.9迁移学习
当你下载别人已经训练好的网络结构的权重之后，你可以把它当做一个很好地初始化，用在你自己的神经网络上，用迁移学习把公共的数据集的知识迁移到你自己的问题上。
然后复习了一下前面讲的迁移学习的内容
2.10数据扩充
数据增强是一种常用的提高计算机视觉系统的表现的技巧（就是人为扩大数据）
常用：裁剪,翻转，对称，弯曲
颜色变换
2.11计算机视觉现状
介绍了计算机视觉的概况，重要内容，一些老师比较喜欢的方法和细节