目标检测与识别

0：机器学习
分类：
1：LeNet-5：6万个参数
2：AlexNet:6000万个参数
创新点：（1）训练处最大规模的CNN，此前LeNet-5仅包含3个卷积层和1个全连接层,它有8个权重层（5个卷积层，3个全连接层）
（2）使用众多的skills,如dropout解决过拟合，Relu使得该网络在6000万个参数扔能收敛
3：VGG：没有那么多超参数，只专注于构建卷积层（模型参数：模型内部的配置变量，可以用数据来推出它的值，如：权重，回归系数等。 模型超参数：模型外部的配置，其值不能从数据中推出，由实践者自己决定，如K领域中的K，卷积核的height,width,滑动stride的height,width,卷积核的数量（即channel））它包含16个卷积层和全连接层，包含1.38亿个参数。将AlexNet中使用的filter(11*5)尺寸改为3*3，小尺寸的filter提高网络的深度，从而可以学习更复杂的特征以及更少的代价（卷积层参数少）
缺点：为dense connection（密集连接结构）:一个位置的卷积操作，每一个输出通道连接着输入的所有通道。
4：GoogleNet/Inception:
创新点：改为稀疏连接
思路：大部分的激活值为0（不必须的）或者冗余（相互关联），所以并不全连接
创新点：每一层采用不同的滤波器大小捕捉细节
1*1的卷积操作减少操作量
全连接层全部替换为全局平均池化，使参数更少
4：ResNet：
随着深度的增加，权值更新的信号从网络后面层传到前面层会越来越弱，意味着前面的层容易被忽略掉，即梯度消失、
简单的增加层导致网络优化困难，从而导致网络退化（误差增大）
目标检测与识别：
1：基于快速CNN的目标检测与识别
R（region proposal）-CNN， Fast R-CNN,Faster R-CNN
1:基于回归学习的目标检测与识别
YOLO;SSD
语义分割：
PSP;ICNnet
实例分割：
Mask-RCNN