总结最近看的多尺度的文章
在用FasterRCNN做检测时发现用原始的VGG16作为特征提取器，将提取的特征送入RPN网络的检测结果对小目标、边界不清晰等成像效果不好的图像效果不好，因此想要通过改进特征提取来提高检测精度。
通过调研利用神经网络解决小目标检测主要通过多尺度特征提取的方法，对图像进行多尺度特征提取主要有三种方法：
1、由于卷积后的pooling的使用导致网路对图像的感知域增大，因此很多文章都使用连接不同pooling层的网络结构提取多尺度特征。或者利用resNET和denseNet的连接方式弥补VGG16的不足扩增网络深度。
2. 对输入图像进行预处理得到多尺度的输入图像，在不同尺度下分别训练网路得到多组网路参数，最后通过FC层合并多尺度特征。
3. 与2类似在不改变图像尺度的前提下利用不同尺度的卷积核进行多尺度卷积，同样得到多组参数最后进行组合
4. 利用maxpooling的性质设计单向的多尺度网络（目前只看到一篇文章）
1. 网络的层间连接
paper：
1. Automated pulmonary nodule detection in CT images using deep convolutional neural networks_PR_2019
2. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images_2018
3. DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification
4. Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks_2017
5. A Method of Ultrasonic Image Recognition for Thyroid Papillary Carcinoma Based on Deep Convolution Neural Network_14 March 2018
6. A Region Based Convolutional Network for Tumor Detection and Classification in Breast Mammography_MICCAI_2016
7. Context-aware pedestrian detection especially for small-sized instances with Deconvolution Integrated Faster RCNN (DIF R-CNN)
8. Deep Learning for Automatic Detection of Abnormal Findings in Breast Mammography_2017
9. Pedestrian Detection by Using CNN Features with Skip Connection
10. MFR-CNN: Incorporating Multi-Scale Features and Global Information for Traffic Object Detection_2018
11-15没仔细看用resNET和denseNet改进特征提取
11. A novel method for lung masses detection and location based on deep learning_2017
12. An evaluation of region based object detection strategies within X-ray baggage security imagery_2017
13. Boundary Regularized Convolutional Neural Network for Layer Parsing of Breast Anatomy in Automated Whole Breast Ultrasound_2017_medicalimage
14.Fully convolutional multi-scale residual DenseNets for cardiac segmentation and automated cardiac diagnosis using ensemble of classifiers_2019_Medical Image Analysis
15. Automatic Colon Polyp Detection Using Region Based Deep CNN and Post Learning Approaches_2018
1.1 连接VGG16的不同层
paper：2、
理论ParseNet: Looking Wider to See Better该文章支出随着卷积的加深感知域增大不足以清晰的描述小尺度的信息，同时给出层间的特征尺度不同需要归一化l2.论文解释
大部分文章选择连接VGG16的第三卷积层和第五卷积层，有文章证明这样效果最好，但是也有文章连接第四卷积层和第五卷积层。
1.2 解卷积
通过对VGG16的第五卷积层解卷积直接送入RPN网络可以改善结果，但是文章没有说明理论依据
通过解卷积第五层回复图像大小到四分之一，然后和第三卷积层的输出送入双RPN网络，最终的loss由原来的四个变为留个进行改进
更复杂的利用最后三个卷积层形成三通道的RPN网络最终输出，我认为这样的改进没有必要
1.3 扩展网络深度
resNET网络的提出文章中的最后一段作者说明自己用resNET101作为特征提取结合fastrcnn的结果比用VGG16作为特征提取的结果更好，也有文章将这种改进实际应用效果有提升
resNET和denseNet这种参差连接的结构对于梯度传播和扩增网络深度都有很好的效果，因此可以应用
DeepLung将resNet用于三维同时设计了解码部分使得整个网络类似于Unet，得到特征后送入三维的RPN网络调研中唯一一个三维的FasterRCNN。
inceptionResNETv2，是Googlenet和resNET结合的产物从垂直和水平两方面扩展了网络深度，但是没有进行block之间的连接，有文章利用改进VGG16时的方法进行block之间的连接，解卷积的操作改进inceptionResNet作为特征提取，结果有提升。但是我认为这样使得网络过于复杂在小的数据集上未必有好的效果。
2. 图像的缩放
paper：
1. Multi-scale Convolutional Neural Networks for Lung Nodule Classification_2015
这种方法计算量太大，在图像缩放前需要进行ROI提取，近年的文章少用，传统的多尺度手动特征提取有使用
3. 不同的卷积核
paper：
1. Using Multi-level Convolutional Neural Network for Classification of Lung Nodules on CT images_2018
最后进行多尺度特征融合时的方法有待讨论
4. 改进max pooling
paper：
1. Multi-crop Convolutional Neural Networks for lung nodule malignancy suspiciousness classification _Pattern Recognition_2017
本文提到的方法在pooling后的特征图上进行中心剪裁，那么大部分未经预处理的图像目标可能不在图像中心