七月算法深度学习 第三期 学习笔记-第十节 深度学习与迁移学习
主要内容
o 图像识别与定位
1）思路1：视作回归
2）思路2：借助图像窗口
o 物体识别
1）边缘策略/选择性搜索 => R-CNN
2）R-CNN => Fast R-CNN
3）Fast R-CNN => Faster R-CNN
4）R-FCN简介
o 有监督到有监督的迁移学习
1）fine-tune 再优化
2）Multitask learning 多任务学习
o 有监督到无监督的迁移学习
1）域对抗学习
卷积神经网络
物体识别图像相关任务
识别+定位
ImageNet包含了识别+定位两个任务
思路1：看作回归问题
4个数字，用L2 loss/欧⽒距离损失
o 步骤1: 先解决简单问题，搭一个识别图像的神经网络，然后在AlexNet VGG GoogleLenet ResNet上fine-tune一下
o 步骤2: 在上述神经网络的尾部展开，成为classification + regression模式
o 步骤3: Regression(回归)部分用欧氏距离损失，使用SGD训练
o 步骤4: 预测阶段把2个“头部”模块拼上，完成不同的功能
o 能否对主体有更细致的识别？提前规定好有K个组成部分，做成K个部分的回归
o 应用：如何识别人的姿势？每个人的组成部分是固定的，对K个组成部分(关节)做回归预测 => 首尾相接的线段
思路2: 图窗+识别与整合
o 类似刚才的classification + regression思路
o 咱们取不同的大小的“框”
o 让框出现在不同的位置
o 判定得分
o 按照得分高低对“结果框”做抽取和合并
o 实际应用时尝试各种大小窗口，甚至会在窗口上再做一些“回归”的事情
o 想办法克服一下过程中的“参数多”与“计算慢”
最初：
用多卷积核的卷积层 替换 全连接层
降低参数量
测试/识别 阶段的计算是可复用的(小卷积)
加速计算
物体识别：边缘策略
o 看做分类问题，有没有办法优化下？
1）为什么要先给定“框”，能不能找到“候选框”？
2）想办法先找到“可能包含内容的图框”
物体识别：选择性搜索
o 关于“候选图框”识别，有什么办法？
1）自下而上融合成“区域”
2）将“区域”扩充为“图框”
R-CNN
o 步骤1：找一个预训练好的模型(Alexnet,VGG) 针对你的场景做fine-tune
o 步骤2：fine-tuning模型，比如20个物体类别+1个背景
o 步骤3：抽取图片特征
1）用“图框候选算法”抠出图窗
2）Resize后用CNN做前向运算，取第5个池化层做特征
3）存储抽取的特征到硬盘/数据库上
o 步骤4：训练SVM识别是某个物体或者不是(2分类)
o 步骤5：bbox regression
R-CNN => Fast-rcnn
o 针对R-CNN的改进1 ：共享图窗计算，从而加速
o 针对R-CNN的改进2：直接做成端到端的系统
o 关于RIP：Region of Interest Pooling
o 维度不匹配怎么办：划分格子grid => 下采样
o RIP：Region of Interest Pooling ：映射关系显然是可以还原回去的
速度对比：
Fast => Faster-rcnn
o Region Proposal(候选图窗)一定要另外独立做吗？RPN
关于RPN： Region Proposal Network
o 关于Faster R-CNN的整个训练过程
速度/准度对比 
部分代码与训练数据
R-CNN
(Cafffe + MATLAB): https://github.com/rbgirshick/rcnn (非常慢，参考)
Fast R-CNN
(Caffe + MATLAB): https://github.com/rbgirshick/fast-rcnn (非端到端)
Faster R-CNN
(Caffe + MATLAB): https://github.com/ShaoqingRen/faster_rcnn
(Caffe + Python): https://github.com/rbgirshick/py-faster-rcnn
SSD
(Caffe + Python)https://github.com/weiliu89/caffe/tree/ssd
R-FCN
(Caffe + Matlab) https://github.com/daijifeng001/R-FCN
(Caffe + Python) https://github.com/Orpine/py-R-FCN
有监督到有监督：fine-tune
Layer Transfer
Multitask Learning：神经网络是多层次的结构，适合多任务学习
有监督到无监督：域对抗学习
