2022 深度学习 & 计算机视觉 & 感知算法 面经整理 二十三（221 222 223 224 225 226 227 228 229 230）

221 1x1 卷积

222 3D 卷积

我们可以认为此过程是将3D Filter矩阵滑过输入层。请注意，输入层的通道数和Filter的Kernel数相同。3D Filter 只能在图像的2个方向（高度和宽度）上移动（这就是为什么这种操作被称为2D卷积的原因，尽管3D Filter 用于处理3D体积（高度×宽度×通道数）数据）。在每个滑动位置，我们执行逐元素的乘法和加法运算，结果为单个数字。

在以下示例中，滑动在水平5个位置和垂直5个位置（5=7-3+1)进行。在深度方向上再进行元素相加后，我们得到一个输出通道。

现在我们可以知道如何在不同深度的图层之间进行变换。假设输入层具有Din通道，而我们希望输出层具有Dout通道。我们需要做的只是将Dout 个Filter应用于输入层，每个Filter都有Din个kernel，每个Filter提供一个输出通道。应用Dout个Filter后，我们将拥有Dout个通道，然后可以将它们堆叠在一起以形成输出层。（输出层的Dout个通道也可称为Dout个Feature map，因此输出的Feature map数实际与Convolution Filter的数量相同。）

注意这样的3D卷积由于深度和voxel的深度相同，所以其实是一个在h和w的2D滑动。下面看下当kernal的深度小于voxel的深度的情况：

下面是voxelnet的3D卷积代码：

计算过程如图：

下面2个计算，我看懂了

223 稀疏卷积

​本质上就是通过建立哈希表，保存特定位置的计算结果。下文将通过举例说明稀疏卷积的原理。

参考：https://zhuanlan.zhihu.com/p/383299678
https://zhuanlan.zhihu.com/p/262998735

224 空洞卷积

225 反卷积

226 PointNet++中 Ball Query 的动态规划代码写法

227 PointNet 3D IOU怎么计算的

本质上问的是旋转IOU如何计算，是可以转到BEV，但是仍然存在旋转问题，通常使用三角剖分进行解决，目前直接求3D IOU的方法，就是某两个维度上计算IOU然后累加。

228 Focal Loss

focal loss是最初由何恺明提出的，最初用于图像领域解决数据不平衡造成的模型性能问题。本文试图从交叉熵损失函数出发，分析数据不平衡问题，focal loss与交叉熵损失函数的对比，给出focal loss有效性的解释。

focal loss vs balanced cross entropy
focal loss相比balanced cross entropy而言，二者都是试图解决样本不平衡带来的模型训练问题，后者从样本分布角度对损失函数添加权重因子，前者从样本分类难易程度出发，使loss聚焦于难分样本。

什么是难样本：
“难样本”指的应该是图片本身难以分类的样本，比如上图中的有”uncommon features"的图（即图中出现了对应多个类别的pattern，我称作ambiguous data），但也有可能是信息量不足的图（即由于遮挡等原因，信息量不够，这比较接近OoD data）；

229 目标检测回归损失函数——L1、L2、smooth L1

这里smooth l1 x - 0.5的原因是让整个函数在x=1处可以连续。

230 目标检测回归损失函数：SmoothL1、IoU、GIoU、DIoU、CIoU Loss