CenterNet:Objects as Points论文阅读笔记

前言：CenterNet这篇文章，我觉得作者思路特别清晰，每一步怎么做，该怎么进行实验，而且我觉得CenterNet的实验挺详实的，真的是一篇很好的文章。

（一）Title

• CenterNet:Objects as Points论文笔记

（二）Summary

​ 在本文中，我们采取了不同的方法。我们将对象建模为一个点，即其边界框的中心点。我们的detector使用关键点估计来找到中心点，并回归到所有其他对象属性(object properties)，如大小、3D位置、方向，甚至姿势。CenterNet比基于bounding box的检测器更容易、更简单、更快、更准确，并且是端到端可微分的。

CenterNet的性能表现：

在MS COCO数据集上取得了28.1% AP at 142 FPS, 37.4% AP at 52 FPS, and 45.1% AP with multi-scale testing at 1.4 FPS.这个要比CornerNet-Squeeze要强啊！

KITTI benchmark上估计3D bounding box

COCO keypoint dataset上进行human pose估计

同复杂的多阶段方法比较，我们的取得了有竞争力的结果，而且做到了实时的。

CenterNet用于目标检测的特点：

• 输入图像输入到全卷积网络中得到heatmap，其中heatmap的峰值对应着物体的中心位置
• 使用heatmap峰值点的图像特征预测边界框的长和高
• 模型利用标准dense supervised learning进行训练，Inference就是单个网络的前向传播，没有使用NMS做后处理

相比其他的基于关键点的目标检测，比如CornerNet和ExtremeNet，他们在关键点检测之后需要一个组合分组阶段(比如cornerNet中的对左上角和右下角根据嵌入向量进行分组)，而CenterNet则不需要分组或者后处理，提高了算法的速度。

（三）Research Objective

本文提出了另外一种框架去解决目标检测的问题，使用边界框中心点来表示对象。对象的其他属性，如对象大小、尺寸、3D范围、方向和姿态，则直接从中心位置的图像特征进行回归。

（四）Problem Statement

大多数成功的object detectors列举出一个几乎详尽的可能的物体位置列表，并对每个位置进行分类。这是浪费的、低效的，并且需要额外的后处理(比如NMS)。后处理的过程很难微分以及训练。

（五）Method

5.1 Loss Fuction

在CenterNet中，我们的损失函数包括3个部分：关键点估计损失(Focal Loss)、回归关键点偏移损失(由下采样造成的关键点精度损失)以及wh回归损失

关键点估计损失(Focal Loss)

关键点预测$\hat{Y}ϵ[0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$,

关键点真实值$Y\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$通过高斯核$Y_{xyc}=\exp \left(-\frac{{\left(x-{\tilde{p}}_x\right)}^2+{\left(y-{\tilde{p}}_y\right)}^2}{2{\sigma }_p^2}\right)$分散到热力图
$$L_k=\frac{1}{N}\sum _{xyc}\{\begin{array}{cl}{\left(1-{\hat{Y}}_{xyc}\right)}^{\alpha }\log \left({\hat{Y}}_{xyc}\right)& \text{ if }{Y}_{xyc}=1\\ {\left(1-Y_{xyc}\right)}^{\beta }{\left({\hat{Y}}_{xyc}\right)}^{\alpha }\log \left(1-{\hat{Y}}_{xyc}\right)& \text{ otherwise }\end{array}$$
其中$\alpha$用于调整正确分类和错误分类的权重，是Focal Loss的核心，而$\beta$用于调整负样本$Y_{xyc}$不为1的权重，负样本数量较大，而且还是经过高斯核处理过的，负样本数量更多了。因此，$\beta$取大一些。

回归关键点偏移损失(C个类别共用：前提假设下采样后的特征图上一个像素位置至多一个object)

offset预测$\hat{O}\in {\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times 2}$

offset真实值$(\frac{p}{R}-\tilde{p})$,其中$p$为Ground Truth关键点的位置， $\tilde{p}=\lfloor \frac{p}{R}\rfloor$.

这里的预测和真实值是怎么一一对应上的呢？
$$L_{off}=\frac{1}{N}\sum _p\left|{\hat{O}}_{\tilde{p}}-\left(\frac{p}{R}-\tilde{p}\right)\right|$$
wh回归损失

wh回归预测值$\hat{S}\in {\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times 2}$

wh回归真实值$s_k=\left(x_2^{(k)}-x_1^{(k)},y_2^{(k)}-y_1^{(k)}\right)$,其中$\left(x_1^{(k)},y_1^{(k)},x_2^{(k)},y_2^{(k)}\right)$表示第k个物体的边界框(这里$x_1^{(k)}$应该表示的是box在x方向的像素坐标最小值，$x_1^{(k)}$表示的是box在x方向像素坐标的最大值)

这里的预测和真实值是怎么一一对应上的呢？
$$L_{\text{size}}=\frac{1}{N}\sum _{k=1}^N\left|{\hat{S}}_{p_k}-s_k\right|$$
最终的整体损失：
$$L_{\text{det}}=L_k+{\lambda }_{\text{size}}{L}_{\text{size}}+{\lambda }_{\text{off}}{L}_{\text{off}}$$

5.2 网络架构和inference

图4中显示了3个任务的输出情况：分别是2D目标检测、3D目标检测以及位姿估计这3种任务，对于3D目标检测以及位姿估计任务的最终输出向量大小我不是很清楚。

5.2.1 目标检测任务

目标检测网络输出：

在目标检测任务中：我们使用single network来预测关键点$\hat{Y}$、offsets $\hat{O}$和wh大小$\hat{S}$,网络的整体输出向量为$\frac{W}{R}\times \frac{H}{R}\times (c+4)$,这些输出共用一个全卷积的backbone网络。然后分别经过一个单独的$3\times 3$卷积+ReLU+$1\times 1$卷积。

目标检测的inference

• 从预测$\hat{Y},\frac{W}{R}\times \frac{H}{R}\times c$中获取每一个类别对应的关键点，这里对于每一个类别，分别的提取其对应heatmap$\frac{W}{R}\times \frac{H}{R}$上的peaks(peaks的定义是其8邻域中的所有值都小于等于中心位置的预测值)，然后保留前100个峰值，此时我们得到了C个类别所有的关键点大致位置,其中第c类别的中心点位置为${\hat{\mathcal{P}}}_c$。假设其总数为n,那么这n个点的表示方式为:$\widehat{{\mathcal{P}}_c}={\left\{\left({\hat{x}}_i,{\hat{y}}_i\right)\right\}}_{i=1}^n$,每一个关键点都对应着一个坐标$({\hat{x}}_i,{\hat{y}}_i)$

• 预测的像素级offset为$\left(\delta {\hat{x}}_i,\delta {\hat{y}}_i\right)={\hat{O}}_{{\hat{x}}_i,{\hat{y}}_i}$

• 预测的像素级宽和高为$\left({\hat{w}}_i,{\hat{h}}_i\right)={\hat{S}}_{{\hat{x}}_i,{\hat{y}}_i}$。

这样我们就得到了bounding box的四个点的坐标位置
$$\begin{array}{c}({\hat{x}}_i+\delta {\hat{x}}_i-{\hat{w}}_i/2,{\hat{y}}_i+\delta {\hat{y}}_i-{\hat{h}}_i/2，\\ {\hat{x}}_i+\delta {\hat{x}}_i+{\hat{w}}_i/2,{\hat{y}}_i+\delta {\hat{y}}_i+{\hat{h}}_i/2)，\end{array}$$
所有的outputs都是直接从关键点估计产生，并且求keypoint peaks可以通过$3\times 3$的max pooling操作实现。

5.2.2 3D目标检测任务

3D目标检测网络输出

对于一个对象来说，3D检测的任务是，需要确定中心点，同时需要确定中心点的三个附加属性:depth、3D dimension和orientation，这3个附加属性是通过3个不同的head进行预测的。对于第k个object，从3个输出特征图上提取输出结果${\hat{d}}_k\in R,{\hat{\gamma }}_k\in R^3,{\hat{\alpha }}_k\in R^8$。

• 网络预测depth输出为$\hat{D}\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}}$，depth很难直接去回归,作者令网络的输出经过变换$d=1/\sigma (\hat{d})-1$之后得到网络的depth，其中$d$为真实的depth，$\hat{d}$为网络输出的预测值，$\sigma$为sigmoid函数。在backbone之后接卷积+ReLU+卷积进行depth的预测，输出经sigmoid取倒数后-1变换到真实的depth尺度上，利用L1距离计算损失。

  损失表示为：
  $$L_{dep}=\frac{1}{N}\sum _{k=1}^N\left|\frac{1}{\sigma \left({\hat{d}}_k\right)}-1-d_k\right|$$

• 预测3D dimension，直接回归，网络输出$\hat{\Gamma }\in {\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times 3}$，并计算L1损失

  损失表示为：
  $$L_{\text{dim}}=\frac{1}{N}\sum _{k=1}^N\left|{\hat{\gamma }}_k-{\gamma }_k\right|$$

• 预测orientation encoding为$\hat{A}\in R^{\frac{W}{R}\times \frac{H}{R}\times 8}$，原本orientation $\theta$是一个标量，作者这里使用Mousavian et al. [24,38]的想法，使用8个标量去编码方向从而能够更好地训练。

  关于角度这里的思想，我们还需要读一读[24,38]这两片论文体会下。

  这8个标量被分成两组，一组的角度范围是$[-\frac{7\pi }{6},\frac{\pi }{6}]$,另一组角度范围是$[-\frac{\pi }{6},\frac{7\pi }{6}]$，并且每一组中有4个标量，其中两个标量$b_i\in R^2$用于softmax分类表示，（疑问为什么一个bin里面的softmax 分类是2维的？）。剩下两个标量$a_i\in R^2$表示到bin中心$m_i$的offset的sin和cos值。因此一个bin的预测结果为：$\hat{\alpha }=\left[{\hat{b}}_1,{\hat{a}}_1,{\hat{b}}_2,{\hat{a}}_2\right]$，其损失函数的表示为：
  $$L_{ori}=\frac{1}{N}\sum _{k=1}^N\sum _{i=1}^2\left(\mathrm{softmax}\left({\hat{b}}_i,c_i\right)+c_i\left|{\hat{a}}_i-a_i\right|\right)$$
  其中$c_i=1\left(\theta \in B_i\right),a_i=\left(\sin \left(\theta -m_i\right),\cos \left(\theta -m_i\right)\right)$，$c_i$表示示性函数（这里我觉得$c_i$应该是$R^2$的）最终的角度inference结果为：
  $$\hat{\theta }=\arctan 2\left({\hat{a}}_{j1},{\hat{a}}_{j2}\right)+m_j$$
  其中$j$是具有较大分类score的那个组。

我觉得这里应该也有一个关键点的预测网络，即$\hat{Y}\in R^{\frac{W}{R}\times \frac{H}{R}\times c}$,然后，这些不同类别的关键点属性(depth,3D dimension以及orientation encoding)公用同一个预测结果

5.2.3 人体位姿估计

人体姿态估计旨在为图像中的每个人体object估计k个2D人体关节位置(对于COCO，k = 17)。作者将每个关节位置看成是中心点的属性，利用关节位置相比于中心点位置的偏移来定义关节位置，$\hat{J}\in {\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times k\times 2}$,并且这里直接使用像素距离来表示损失，利用L1距离计算损失，作者通过masking loss来忽略那些不可见的keypoints。

预测k个关节的heatmap，以及对应的偏移位置$\hat{\Phi }\in {\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times k}$(这里使用focal loss)，同时对这些关节，预测offset，offset是对所有类别的关节通用的，因此预测的offset大小为${\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times 2}$(这里和目标检测任务中offset使用相同的损失)，

说明：这应该是一个由粗到细的过程(个人看论文的理解)

作者应该在关节位置估计上：首先对于一个人体目标(已经知道中心点的位置)来说只估计其他点相对于中心点的offsets，这样使用$\frac{W}{R}\times \frac{H}{R}\times k\times 2$参数，但是得到的距离中心点的偏移位置不准确，因此，需要对每一个关节位置预测一个偏移offset，因为我们预测的偏移是一个$\frac{W}{R}\times \frac{H}{R}\times 2$大小的，也就是我们需要确定这个偏移究竟是哪一个关节的偏移。

假设我们当前仅考虑第j个关节，我们先找到中心点位于$(\hat{x},\hat{y})$位置的第j个关节的粗略位置
$$l_j=(\hat{x},\hat{y})+{\hat{J}}_{\hat{x}\hat{y}j}\text{ for }j\in 1\dots k$$
然后我们根据另一个特征图$\hat{\Phi }\in {\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times k}$的第j个关节上的子图${\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}}$上的值>0.1的位置记录下来，一共有$n_j$个，也就是第j个关节可能出现的位置$L_j={\left\{{\tilde{l}}_{ji}\right\}}_{i=1}^{n_j}$。然后在所有第j个关节可能出现的位置上，找到和中心点位于$(\hat{x},\hat{y})$位置的第j个关节的粗略位置$l_j$最接近的那个位置$l\in L_j$,这个位置对应的偏移就是我们应该加到$l_j$上的偏移。

我这里的疑问是：为什么还要引入$\hat{\Phi }$而不直接预测基于当前粗略的关节位置，对应到预测的offset图上。这样不是更加简单一些吗？

（六）实现上的一些细节问题

backbone采用了四种方式：ResNet-18, ResNet-101 [55], DLA-34 [58], and Hourglass-104 。并且使用可变形卷积层(deformable convolution layers)修改了ResNets以及DLA-34。

• Hourglass-104首先将输入下采样4倍，然后是两个连续的Hourglass Module。每个Hourglass Module是一个带有跳跃连接的对称的5层down- and up-convolutional network。这个网络相当大，但是产生了最优关键点估计

• ResNet，使用3个up-convolutional networks对标准的残差网络进行扩充，使得网络能有一个更高的输出分辨率(输出步长为4)，3个上卷积网络的特征图通道分别为256,128,64.并且在每一个上卷积网络前增加一个3 × 3的可变形卷积层。上卷积核被初始化为双线性插值。

• DLA是一个带有层间跳跃连接的图像分类网络，我们利用DLA的完全卷积上采样版本进行密集预测，它使用迭代深度聚合来对称地提高feature map的分辨率，我们用从较低层到输出的可变形卷积来增强跳跃连接，在具体实现上，我们是使用3*3的可变形卷积代替原始卷积的。

  并且在每一个输出head前增加了一个256通道的$3\times 3$的卷积层，最后经过$1\times 1$卷积产生最后的输出。

6.1 训练阶段

• 训练我们以512 × 512的输入分辨率进行训练。所有模型产生的输出分辨率为128×12。
• 我们使用随机翻转、随机缩放(在0.6到1.3之间)、裁剪和颜色抖动作为数据增强，
• 并使用Adam[28]来优化整体目标。
• 我们不使用增强来训练3D估计分支，因为裁剪或缩放会改变3D测量。
• 对于residual网络和DLA-34，batchsize=128(在8个GPU上)，他们的学习率策略没有理解。对于Hourglass-104，使用batchsize=29(在5个GPU上，主GPU批处理大小为4)，学习率也没有看明白。
• 在检测时，我们从ExtremeNet [61]微调Hourglass-104以节省计算。Resnet101和DLA-34的下采样层用ImageNet预处理初始化，上采样层随机初始化。

6.2 Inference阶段

使用了3种级别的测试增强：no augmentation, flip augmentation, and flip and multi-scale(0.5, 0.75, 1, 1.25, 1.5)

在flip中，在编码bounding box之前对网络输出进行一个平均，

在multi-scale中，使用NMS合并结果。

（七）实验

在MS COCO上进行实验，我们报道的评价指标为：report average precision over all IOU thresholds (AP), AP at IOU thresholds 0.5(AP50) and 0.75 (AP75).

实验1

Hourglass-104以相对较好的速度实现了最好的精度，并且在该backbone上的表现，CenterNet要优于CornerNet。运行时间的改进来自更少的output heads和更简单的box decoding方案。更高的精度表明中心点比拐角或极值点更容易检测。

实验2

然后再和一些state of art的网络进行比较：

实验3

当两个不同的物体完全对齐，它们可能会共享同一个中心。在这种情况下，CenterNet将只检测到其中的一个。我们从研究这种情况在实践中发生的频率开始，并将它和一些和CenterNet能竞争的方法漏检情况联系起来。

首先就是统计CenterNet失效的情况(看看人家这定量分析，这是服了)

COCO训练集中614对物体以步幅4碰撞到同一个中心点，总共有860001个对象，概率小于$0.1$%,这要比slow or fast RCNN由于inperfect region proposals(大约2%)造成的漏检小。

并且，比由于不充分的anchor放置，导致的anchor-based方法的漏检(20.0% for Faster-RCNN with 15 anchors at 0.5 IOU threshold)要小

最后，715对物体的IoU超过了0.7，这对于基于anchor的方法来说，在检测时很容易将两个框中的一个去掉，导致目标的漏检

因此我们漏检的概率是非常的小的。

实验4

我们说了我们的CenterNet可以不用做NMS这些后处理，我们口气那么大，肯定是有实验证明的

我们分别使用和不使用NMS做后处理，得到的AP结果对于DLA-34 (flip-test)，从39.2% 变到 39.7%。对于Hourglass-104，AP还是保持42.2%。嗨，干脆不用了。

实验5

对于我们新增加的超参数，我们要做Ablation实验。我们选一个网络来做，DLA-34

实验5.1

训练期间，我们将输入分辨率固定为512×512。

测试阶段，我们有两种方式：1.保持原来分辨率，然后将网络零填充到网络的最大步长(stide)，对于ResNet以及DLA分别零填充32个pixels，对于HourglassNet，零填充128个pixels。2.固定分辨率进行测试。

从上图中可以看出，使用原图加零填充取得了最佳的效果，我想知道这里的原图是多大，会不会比512还大？

实验5.2

回归损失比较了一个普通的L1损失以及一个smooth L1损失，看看哪个要好一些，普通L1的效果比smooth L1好的挺多的啊，这个地方解释很少啊，为什么L1损失要更好一些呢？

实验5.3

调整损失函数中的${\lambda }_{size}$也就是长宽回归的损失的权重，增大${\lambda }_{size}$使得AP显著下降，这个因为长宽损失的范围是0到w和h（这里我觉得应该是这个，单看论文的话）而不是0-1，因此增加${\lambda }_{size}$会显著增加网络对w和h的回归，而其他损失回归就会差很多，会造成网络精度的下降。

实验5.4

epoch=140的情况是：前90epoch训练，然后进行学习率下降，再训练50个epoch

epoch=230的情况是：前180epoch训练，然后进行学习率下降，再训练50个epoch。

虽然性能会提升，但是相比于时间成本来说，不是很划算，为了节省计算资源(和北极熊)，我们在消融实验中使用了140个epoch，但与其他方法相比，DLA使用了230个epoch。

实验5.5

作者他们还尝试了回归到一个以上的anchor上，但是实验没有取得成功

实验6

我们的方法表现在AP和AOS指标上和同行不相上下，在BEV中略胜一筹。同时我们的CenterNet比这两种方法都快两个数量级。就是强

实验7

我觉得这里的reg指的就是我之前问的问题，直接在预测的粗糙的关节点位置，加上预测的offsets训练出来的，而jd应该是增加了$\hat{\Phi }$的关节位置的预测的情况，使得网络的性能得到了提升，实现了通用性的说明！

（八）Notes

1. 本文中的方法和anchor-based one-stage的方法很接近。

center point被看成是一个形状未知的anchor。不同之处在于：

• 没有手动设置阈值用于前景和背景的分类
• 每个物体而言，我们只有一个positive “anchor”，不需要做NMS
• 具有larger output resolution(输出下采样比例为4)，相比于传统的目标detectors(输出下采样比例到16)，这样就不需要使用multiple anchors了，对于不同scale的特征图，使用不同大小的anchor。

2. 损失函数是怎么得到的呢？

符号说明：

令$IϵR^{W\times H\times 3}$为输入图像，其宽W，高H。我们目标是生成关键点热力图$\hat{Y}ϵ[0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$,其中R 是输出stride（即尺寸缩放比例），C是关键点类型数（即输出特征图通道数）；关键点类型有： C = 17 的人关节点，用于人姿态估计； C = 80 的目标类别，用于目标检测。我们默认采用下采用数为R=4 ；${\hat{Y}}_{x,y,c}=1$表示检测到的关键点；${\hat{Y}}_{x,y,c}=0$表示背景；我们采用了几个不同的全卷积编码-解码网络来预测图像 I得到的$\hat{Y}$：stacked hourglass network ， upconvolutional residual networks (ResNet)， deep layer aggregation (DLA) 。

我们训练关键点预测网络时参照了Law和Deng (H. Law and J. Deng. Cornernet: Detecting objects as

paired keypoints. In ECCV, 2018.) 对于 Ground Truth（即GT）的关键点 c ,其位置为 $pϵR^2$ ，计算得到低分辨率（经过下采样）上对应的关键点 $\tilde{p}=\lfloor \frac{p}{R}\rfloor$. 我们将 GT 关键点 通过高斯核$Y_{xyc}=\exp \left(-\frac{{\left(x-{\tilde{p}}_x\right)}^2+{\left(y-{\tilde{p}}_y\right)}^2}{2{\sigma }_p^2}\right)$分散到热力图$Y\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$ 上，其中${\sigma }_p$ 是目标尺度-自适应 的标准方差。如果对于同个类 c （同个关键点或是目标类别）有两个高斯函数发生重叠，我们选择元素级(element-wise maxi-mum)最大的。

训练目标函数如下，像素级逻辑回归的focal loss：
$$L_k=\frac{1}{N}\sum _{xyc}\{\begin{array}{cl}{\left(1-{\hat{Y}}_{xyc}\right)}^{\alpha }\log \left({\hat{Y}}_{xyc}\right)& \text{ if }{Y}_{xyc}=1\\ {\left(1-Y_{xyc}\right)}^{\beta }{\left({\hat{Y}}_{xyc}\right)}^{\alpha }\log \left(1-{\hat{Y}}_{xyc}\right)& \text{ otherwise }\end{array}$$

其中 $\alpha$ 和 $\beta$是focal loss的超参数，分别用于调整正确分类样本和错误分类样本之间，正负样本之间的权重关系，实验中两个数分别设置为2和4， N是图像 $I$ 中的关键点个数，这里的关键点值得是所有$Y_{xyc}=1$的点吗？，除以N主要为了将所有focal loss归一化。

---

由于图像下采样时，GT的关键点会因数据是离散的而产生偏差，我们对每个中心点附加预测了个局部偏移 $\hat{O}\in {\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times 2}$ 所有类别 c 共享同个偏移预测(也就是说我们这里假设C个类别的中心不会在同一个位置)，

这个偏移用 L1 loss来训练：
$$L_{off}=\frac{1}{N}\sum _p\left|{\hat{O}}_{\tilde{p}}-\left(\frac{p}{R}-\tilde{p}\right)\right|$$
很明显，这里只计算了关键点位置的offset损失。

---

令$\left(x_1^{(k)},y_1^{(k)},x_2^{(k)},y_2^{(k)}\right)$表示第k个物体的边界框(这里$x_1^{(k)}$应该表示的是box在x方向的像素坐标最小值，$x_1^{(k)}$表示的是box在x方向像素坐标的最大值)，他的类别为$c_k$,因此，其中心点坐标为：$\left(\frac{x_1^{(k)}+x_2^{(k)}}{2},\frac{y_1^{(k)}+y_2^{(k)}}{2}\right)$,之前我们已经预测了所有的Center Keypoints，需要对长宽进行回归，这里作者采取的回归方法是直接回归像素级的长和宽，而不是使用对尺度进行归一化的方法，即$s_k=\left(x_2^{(k)}-x_1^{(k)},y_2^{(k)}-y_1^{(k)}\right)$,和之前offsets中假设相同，对于所有类别目标回归wh值$\hat{S}\in {\mathcal{R}}^{\frac{W}{R}\times \frac{H}{R}\times 2}$

(也就是在特征图上(4倍下采样原图)，C个类别的中心不会在同一个位置，或者说4个像素位置的大小，我们假设只存在一个物体，很显然物体的大小是要大于4个像素的，我们认为这个假设是合理的)

这里的长宽回归我们同样也使用L1损失函数：和offsets损失相同，我们同样仅对所有的目标点计算损失
$$L_{\text{size}}=\frac{1}{N}\sum _{k=1}^N\left|{\hat{S}}_{p_k}-s_k\right|$$
整体损失函数为：
$$L_{\text{det}}=L_k+{\lambda }_{\text{size}}{L}_{\text{size}}+{\lambda }_{\text{off}}{L}_{\text{off}}$$
作者论文中的设定为：${\lambda }_{\text{off}}=0.1$并且${\lambda }_{\text{size}}=1$

（九）问题

问题1：offsets损失中的${\hat{O}}_{\tilde{p}}$和wh回归损失中的${\hat{S}}_{p_k}$在网络中的表示形式，

或者说怎么利用网络架构得到损失的计算值的？

问题2：3D目标检测以及位姿估计任务的最终输出向量大小

不知道这三种网络之间存在着的差异是什么？需要看看代码实现

问题3： 在inference确定key points时候保留的top 100个峰值指的是对每一个类别都保留还是全部类别一共保留前100个？