课程笔记-三维点云处理06 ——3D Object Detection(下)

课程笔记-三维点云处理06 ——3D Object Detection(下)

本系列笔记是对深蓝学院所开设的课程:《三维点云处理》的笔记 课程每周更新,我也会努力将每周的知识点进行总结,并且整理成笔记发上来,欢迎各位多多交流&批评指正!!
本文主要为课程第六章的笔记! 由于第六章继续进行深度学习领域知识讲解,因此不仅知识量陡增,课程量也加大,因此本章将分为上下两篇笔记进行记录。
本息可主要讲3D物体感知的昂发,介绍基于图像的、基于体素和点云的、以及基于融合的3D物体感知深度学习方法及经典理论

课程链接:

三维点云处理——深蓝学院
正式内容:
####################################################

本节课大纲:
############################################################
课程笔记-三维点云处理06 ——3D Object Detection(下)_第1张图片

VoxelNet, PointPillars

对于三维数据的处理方式有以下四种:
课程笔记-三维点云处理06 ——3D Object Detection(下)_第2张图片
多为结合2D的神经网络思想与方法,主要都是1stage和2stage方法,主要主干为基于图像的CNN解决方法和pointnet 的直接解决方法。

voxelnet

课程笔记-三维点云处理06 ——3D Object Detection(下)_第3张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第4张图片

课程笔记-三维点云处理06 ——3D Object Detection(下)_第5张图片

通过一个哈希表,可以避开对于空的voxel做运算,从而能够提升运算的效率

课程笔记-三维点云处理06 ——3D Object Detection(下)_第6张图片
网络结构

课程笔记-三维点云处理06 ——3D Object Detection(下)_第7张图片

损失函数

课程笔记-三维点云处理06 ——3D Object Detection(下)_第8张图片

数据预处理、数据增广
课程笔记-三维点云处理06 ——3D Object Detection(下)_第9张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第10张图片

pointpillars

课程笔记-三维点云处理06 ——3D Object Detection(下)_第11张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第12张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第13张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第14张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第15张图片

对loss修改提出focal loss ,解决了类别不均衡问题,将网络的注意力转移到了关注预测错误的情况中去

PointRCNN

课程笔记-三维点云处理06 ——3D Object Detection(下)_第16张图片

直接基于点云数据做DETECTION

课程笔记-三维点云处理06 ——3D Object Detection(下)_第17张图片

提出了基于点云输入的2-stage 检测网络

课程笔记-三维点云处理06 ——3D Object Detection(下)_第18张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第19张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第20张图片
·课程笔记-三维点云处理06 ——3D Object Detection(下)_第21张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第22张图片

课程笔记-三维点云处理06 ——3D Object Detection(下)_第23张图片

(其实有点听不太懂了。。 如果对fastRCNN比较收悉的话思路是比较相似的。

Image and Point Cloud fusion - Frustum PointNet, PointPainting

F pointnet

课程笔记-三维点云处理06 ——3D Object Detection(下)_第24张图片
思路是用mask做分割 用pointnet做检测
在工程应用方面由于时差问题与其他的融合问题,很难对齐图像和点云,而且因为容易遗漏信息,所以几乎没有被引用在工程上

pointpainting
课程笔记-三维点云处理06 ——3D Object Detection(下)_第25张图片
思路是在图像上先做一步分割,然后将标签打在对应的点云上,然后去融合做方法。

HOME WORK

课程笔记-三维点云处理06 ——3D Object Detection(下)_第26张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第27张图片

LABEL / RESULT 格式:
课程笔记-三维点云处理06 ——3D Object Detection(下)_第28张图片

课程笔记-三维点云处理06 ——3D Object Detection(下)_第29张图片
区别

大作业:
课程笔记-三维点云处理06 ——3D Object Detection(下)_第30张图片
课程笔记-三维点云处理06 ——3D Object Detection(下)_第31张图片

你可能感兴趣的:(课程笔记,人工智能,计算机视觉,深度学习)