3D点云与深度学习

个人理解与观点总结：

详细知识点摘要：

1. 学习目的
   自己搭建一个点云分类网络
   2 . 机器学习和深度学习
   
   3.世界上所有问题都是优化问题
   
2. 深度学习的概述：DL的目的可以看作是优化一个函数：
   
   梯度下降
   
   神经元的结构图
   
   损失函数的定义：L1，L2, 还有其他类型的损失函数如交叉熵
   
   其中y hat 是真实值，y是神经元输出值，目的是找到权重使得损失函数最小！

MLP和FC:全连接网络，常用于分类问题：

交叉熵损失函数（数学原理：信息论的知识点）

交叉熵的作用？为什么引入交叉熵：
解决分类问题中的损失函数的定义。
在回归问题中：
真实值 y_star 和网络输出值 y 都是标量，因此损失函数可以方便地定义为均方差的形式，但是在分类问题中：
真实值（或称标签） y_star 的形式为[1; 0; 0 ]，分别表示 [狗； 猫； 其他] 的概率。
全连接网络的输出值y 的形式为[ 3.2; 5.7; -1.7] 的向量形式，
很明显很难用均方差的形式y_star 和y的误差（即损失函数）。
引入softmax，将网络输出y=[ 3.2; 5.7; -1.7] 转为概率输出 [0.13; 0.87; 0] （和等于1）；
引入交叉熵，解决p=[1; 0; 0 ]与q= [0.13; 0.87; 0] 的误差定义，即损失函数Loss=H(p,q)=交叉熵损失函数。
交叉熵损失函数例子：

为什么要引入 非线性激活函数？？：解决梯度消失，梯度爆炸
MLP，FC可以拟合任意线性或非线性函数，并可以证明：

如何训练MLP?？：梯度下降
反向传播：是一种更加高效的梯度下降！

有了CNN使得神经网络在图像处理中大放异彩！！：
什么是CNN: 卷积运算！！乘法和加法！
一维的卷积：下图中，X是输入，w是卷积核，y是输出：

感知域？？
为什么选CNN而不是MLP??

padding

stride: 卷积核挪动的步长，影响感知域。

二维的卷积：

多卷积核的情况：

pooling 池化：

pointNet算法的用途：分类，分割，语义分割
pointNet网络结构：

或者

解析：
1.对每个点进行mlp运算：
和
算法核心：max pool (要求：改变点的顺序不会影响输出的结果，mean或min也能做到但max更好)

核心算法可以概括为：
pointNet = shared MLP + max pool
pointNet 可以模拟任何的函数！
到这步后，想怎么玩就怎么玩：


除了做分类（整幅点云图的分类问题），还可以做分割：只要将每个点进行分类，就可以做分割操作！！：

pointnet的鲁棒性，对于噪声的敏感程度？？

一些概念：

pointNet缺少特征提取，即缺少CNN层，因此pointNet的作者又创建了pointnet++算法 ：
pointnet++ = pointnet + CNN