毕业设计学习笔记

硕士毕业设计：基于深度学习的变电站巡检图像设备目标检测

1、基于XX深度学习平台，对变电站巡检图像/红外图像进行目标检测，得到变电设备的类型；这里可以采用不同的目标检测（Faster-RCNN和YOLO）模型进行对比，然后对温度异常的部件进行目标检测，得到异常部件的温度信息；根据类型和异常部件的温度信息，实现基于深度学习的方法和传统方法结合判定，得到最终的检测结果。
如何使用深度学习的技术，实现一张图中出现同类的设备，使用同类比较法；没有同类的设备，使用温差比较法。
2、通过判断红外图像，由于缺乏数据，只结合少量的实际数据和其它模型建模的相关经验以及调查获得的产生高温的影响因素，在基于贝叶斯网络的基础上对巡检设备进行预测。
3、单目测距验证试验。根据小孔成像模型和拟定方案得到的距离公式计算得到相机不同安装高度下行人距车头的距离，对比不同安装高度下所得到的距离最终得出相机安装高度为1.36m时所获得的距离误差最小；采集环境温度的物体，注意采集表面氧化、覆污等情况应尽量与被测设备类似，并最好与被测设备处于同一方向或同一视场中，减少误差。

本科毕业设计：基于X光照片的高压线接头缺陷识别的深度学习技术

算法：Faster-rcnn+tensorflow框架
工具：QT
实现：5种典型缺陷类型
传统的目标检测分为3个步骤，区域选择，特征提取，以及分类器分类。分类器常用的分类为支持向量机（SVM），DPMC等。区域的选择早期采用窗口的滑动的方式进行，对整张图片尽可能的遍历，因此它的缺点很明显，计算量非常大，训练十分耗费时间，且识别的准确度不是很高。

深度学习参考文献001：基于改进YOLOv3网络的无人车夜间环境感知

目前处于技术前沿的目标检测算法主要分为两类：一类是Faster-rcnn（快速区域卷积神经网络），采用两级式的检测框架；另一类是YOLO（you only lock once）网络，采用单级式的检测框架。
本文提出一种改进的YOLOv3网络，采用端到端的检测方法，在检测网络的基础上增加多尺度预测，采用3个尺度分别负责预测不同大小的物体，并将车辆角度信息加入到YOLOv3网络边界框位置信息中，对周边车辆行驶意图做出判断，实现周边车辆角度、距离和速度信息预测。该改进YOLOv3帮助无人车感知周边环境，大幅提升速度的同时加强了对小目标物体的检测，能够有效保证预测的正确性和实时性。
训练环境：本文使用Caffe框架，i5-6600+GTX 1070 Ubantu操作系统。
训练设置：训练过程中基本学习率0.0001，迭代次数60000，耗时5h。
使用传统的HOG+AdaBoost算法（方向梯度直方图）、Fast-rcnn、Faster-rcnn算法、YOLOv1、YOLOv2及本文算法进行对比。

深度学习参考文献002：基于知识图谱的电力知识平台关键技术研究

论文研究了智能电力知识平台的关键技术与相关设计、建设方案，主要对构建和更新知识图谱的概念对生成算法、实体对生成模型、平台系统功能设计和效益分析等不同角度进行分析和应用。
常识抽取问题，研究了基于互信息的概念对生成排序算法；相似性角度考虑，对已获得的概念对利用马尔科夫聚类压缩算法可以生成多个概念对簇。

深度学习参考文献003：智能车辆对行人的运动感知和过街意图预测研究

1、基于深度学习平台Caffe，搭建Faster-Rcnn+VGG16组合的检测方法，对行人及其头部方向进行检测，整体准确率接近90%。
2、行人跟踪及其运动状态估计。利用基于颜色的粒子滤波。
3、行人过街意图预测。由于缺乏数据，只结合少量的实际数据和其它模型建模的相关经验以及调查获得的影响行人过街的影响因素，在基于贝叶斯网络的基础上对行人过街意图进行预测。
4、单目测距验证试验。根据小孔成像模型和拟定方案得到的距离公式计算得到相机不同安装高度下行人距车头的距离，对比不同安装高度下所得到的距离最终得出相机安装高度为1.36m时所获得的距离误差最小。

深度学习参考文献004：田间麦蜘蛛的深度学习检测研究

1、研究近年来两种比较重要的基于卷积神经网络的目标检测模型：一种是基于候选区域的网络模型；另一种是基于回归的网络模型，如YOLO、SSD等。经过试验，发现基于区域的模型更适合田间麦蜘蛛的检测，具有较好的识别效果。
2、在ZF Net的基础上，增加两个inception模块进行不同尺度的特征提取，并重新设计锚框方法，使得识别精度达到0.8961。
3、提出Faster-RCNN的改进算法，以处理Faster-RCNN算法对原始图像的识别效果较差的问题，对数据集和算法进行如下改进：在数据集中，将训练集转换为四种不同尺度的小图像进行训练，并进行镜像翻转和椒盐噪声处理；在算法上，利用聚类算法进行锚点的科学设计，引入R-FCN算法中的位置敏感得分图，并优化网络中重要的参数。通过实验验证，大大的增加了对原始图像的识别效果，并且提高的训练速度。通过对数据集进行多尺度处理，经过实验发现多尺度训练的模型识别精度提高了1%左右，且增加了模型的鲁棒性，对原始图像有较好的识别效果。

深度学习参考文献005：基于深度学习的智能教室视觉检测系统

1、对运动教师和起立学生进行运动人形检测算法的研究。对于运动教师的检测系统，使用Faster-RCNN和高斯混合模型进行动态人形的检测，并进行画面的缩放。对于起立学生检测系统，起立学生的检测是通过Faster-RCNN网络，对学生的起立行为进行动作分类和位置回归，对起立的学生进行检测。出于智能教室视频录制实时性的考虑，采用速度更快的Single-stage的SSD检测方法，并提出了基于模型蒸馏的加速方法提高系统的实时计算效率，并选择假如FocalLoss提高检测的性能。
2、目前的图像识别的特征提取的方法一般是通过符合人视觉习惯的人工设计的特征，经过特征提取之后，再利用这些人工设计的特征来进行分类等等。虽然这些特征，能够符合人的感知原理，但是这些特征并没有让计算机很好的理解图像。经网络是自主的从图像中学习特征，并利用梯度下降的方法进行反向传播和参数更新，再从网络中得到相比人工设计精细拟合的特征，从而对于图像的分类、目标的检测和物体的分割都起到很好的促进作用。
3、文在研宄过程中，首先实现和比较了不同的运动和检测算法的优劣。并提出在基于two stage的Faster RCNN和Single stage的SSD目标检测，得到目标物体框的基础上，融入传统的高斯混合模型运动检测的方法，实现了针对智能教室检测系统对特定运动人形的检测需求。通过深度学习的目标检测算法和传统机器学习的高斯混合模型算法相结合，并对整个算法和工程平台进行部署搭建，实现对讲台上授课的老师和起立回答问题的学生进行检测和追踪的智能教室视觉检测系统。针对特征提取更加有效的问题，对网络结构进行了优化。针对SSD缺少目提取标框步骤，而导致准确率不高的问题，采用Focal Loss进行反传。针对Faster RCNN前馈时间较长，很难达到实时性。采用模型蒸馏的方法，利用大模型学习到的隐含知识作为先验，监督和指导小模型的学习，从而达到系统实时性的要求。在算法层面，本文研宂的智能教室系统中，包括检测授课和板书的教师以及起立回答问题的学生两个部分。在系统架构层面，本文研宄的智能教室系统主要通过全景摄像头模块，特写摄像头模块以及控制模块相互配合，通过全景摄像头和特写摄像头的位置对应，以及逻辑判断，实现整个系统架构。

深度学习参考文献006：基于深度学习的小目标检测研究与应用

1、广泛存在小目标场景的检测应用中，本文在基于Faster RCNN的多尺度检测算法和基于条件生成式对抗网络的小目标特征增强算法的基础上，对Faster RCNN算法做出改进。针对交通设计与规划中存在的问题，本文设计并实现了基于无人机视频的车流分析系统。本文使用研究的小目标检测算法做车辆检测，对实时性和因样本类别不均衡带来的问题进行优化，通过计算标定参照物的偏差消除抖动，使用匈牙利匹配算法建立车辆在多帧之间的关联，最后结合标定的计数线统计车流量。通过上述方式，相比于原始Faster RCNN和其他主流目标检测方法，本文在交通视频分析中的车辆检测任务上取得了更好的检测效果，实现了车辆检测、跟踪、计数、测速等功能，完成了具有展示度的应用系统。

深度学习参考文献007：基于深度学习的焊缝缺陷自动检测研究与实现

1、本文针对焊缝缺陷自动识别的话题，阐述国内外的相关研究现状。通过研究数据集的体系结构、图像数据集的特点和焊缝缺陷检测的特点，提出焊缝图像数据集的组织形式，并据此构建并发布全新焊缝图像数据集WDXI。依照焊缝图像的特点制定图像预处理流程，包括灰度变换、图像降噪和焊缝区域裁剪。在缺陷检测部分，首先提出基于滑动窗口进行焊缝缺陷检测的方法，使用WNet网络对窗口中的图像分类，并最终生成６张概率图。SelectiveSearch算法和非极大值抑制用于从概率图中生成边界框。其次使用深度学习领域广泛使用的目标检测框架Faster RCNN进行缺陷检测，详细研究Faster RCNN的网络结构，先针对小尺度目标检测不准确的问题进行优化，再使用ResNet代替VGGNet提升检测的准确率。
2、高质量的数据集是如何产生的
3、本论文的方法由以下两部分组成：一部分为图像预处理流程，包括灰度转换、图像降噪和焊缝区域提取，即提高图像的质量，也降低图像的尺寸。另一部分是Faster-RCNN目标检测框架。

深度学习参考文献008：基于深度学习的高光谱图像目标检测算法研究

由于高光谱图像是个典型的三维数据块，具有高维度、数据量大、信息复杂等特性，传统的目标检测算法很难同时充分挖掘高光谱图像的光谱信息和空间信息。近年来，度学习理论发展迅速，深度学习中的多种神经网络都有很强的特征提取和信息挖掘能力，在多个领域都取得出色成果，但是在高光谱图像目标检测领域，由于某些目标包含的像素数少、样本数目不足、数据结构复杂等因素，深度学习方法还未有被广泛应用。因此本文将深度学习理论引入到高光谱图像目标检测中，并通过深度学习的多种模型实现对高光谱图像目标的检测 。

深度学习参考文献009：基于深度卷积神经网络的光学遥感目标检测技术研究

1、目前，基于深度卷积神经网络的目标检测算法大体上可以分为俩种：一种是以 Faster RCNN 为代表的双阶段检测器，另一种是以 YOLO 和 SSD 为代表的单阶段检测器。相较于双阶段的目标检测器，单阶段的目标检测器在速度上更具有优势，但是在精度上表现不佳，尤其在检测小尺度目标的时候其结果并不令人满意。特别是 YOLO 系列，在小尺度目标上的检测精度尤为糟糕。而双阶段检测器虽然在速度上慢于单阶段检测器但是其在小尺度目标上的检测精度要优于单阶段检测器。相比较而言，双阶段检测器更加适合光学遥感类的目标检测。
2、因为光学遥感图像中目标的尺寸较小，目标经过多层网络后，输出特征层的分辨率较小，造成大量有效特征的丢失。因此，我们提出通过去除第四阶段的特征池化层来提升网络的分辨率，但是直接提高分辨率会导致网络感受野的下降，丢失全局信息，严重影响网络分类的能力。通过基于“空洞卷积”提高感受野的方法能够较好的保证全局信息进而提升检测的性能。
3、在 Faster RCNN 中，一般采用深层次的输出特征层进行目标检测。而深度卷积神经网络是一种高度模拟人脑工作原理的网络结构，其网络特性决定了浅层网络部分提取有利于定位的边缘、轮廓等信息而网络的深层次部分提取有利于分类的高级语义信息。同时，光学遥感图像中的目标尺寸较小，在经过多层网络后有效定位特征丢失会导致检测精度不高。因此，我们通过结合浅层网络的定位特征和深层网络的分类特征以进一步提升检测的性能。
4、论文的主要创新点：

• 提出了一种基于“在线难例解析”的“难样本”特征增强方法：在训练的时候将“难样本”也考虑进网络从而进行更加有效地特征提取和训练。
• 提出一种基于“空洞卷积”的感受野提高方法：在去除第四阶段特征池化层的同时引入“空洞卷积”从而保证在提升网络分辨率的同时输出特征层的感受野不会下降进而提升检测的性能。
• 提出了一种多尺度特征结合的方法，该方法在有效地结合了浅层网络有利于定位的边缘、轮廓等特征和深层网络有利于分类的高级语义特征从而提升检测的性能。
• 提出了一种网络模型轻型化的方法以减少模型所需的存储空间并提升速度。