几个目标检测loss对比：faster rcnn、ssd、yolov1、yolov2、yolov3的loss

目标检测loss

算法	rcnn	fast rcnn	faster rcnn	ssd	yolov1	yolov2	yolov3
输入大小			1000x600		448x448	416x416	416x416
网格大小			40x60		7x7 (降采样了64倍)	13x13	52x52、26x26、 13x13
输出大小			rpn60x40x9个, fast跟设置有关，一般训练256个样本(正负1:1, 正样本不够用负样本补充)，conv4提取proposal, conv5之后在输出	MxNx(c+4)xk	(7x7) x((4+1)x2+20)，其中7x7是网格尺寸，4是位置信息(x,y,h,w)，1是置信度(IOU),2是一个格子共回归2个矩形框，最后选定置信度更大的矩形框作为输出	(13x13)x((4+1+20) x5),其中13x13是cell个数，yolov2只有1个尺度	(NxN)x((4+1+20)x3),其中N*N是cell个数，yolov3有3种(52x52、26x26、 13x13)，4是位置(x,y,h,w), 1是置信度, 20是类别(coco则是80类)，3是每个格点上anchor个数
基础网络			zfnet	vgg16		Darknet-19	Darknet-53
anchor/proposals策略	selective search(基于颜色、结构、尺寸、形状，将相似的区域合并成更大的区域)找出大概2000个proposals	selective search找出大概2000个proposals	rpn产生3 *3个anchor，(128, 256, 512) *(1:1, 1:2, 2:1)	6个anchor	直接预测	5个anchor，聚类产生	9个anchor分在三个scale上，聚类产生
多尺度	无	无	无、可以增加FPN	有6个尺度，分别是38x38x512，19x19x512, 10x10x512, 5x5x512, 3x3x512, 1x1x256	无	无	有3种尺度
与真值匹配策略	IOU大于0.5为正样本，其余为负样本	IOU大于0.5为正样本，[0.1, 0.5]为负样本，正负样本1:3	IOU大于0.7和IOU最大的anchor为正样本，小于0.3的为负样本，一个真值可以和多个anchor对应	与真值IOU>0.5的，可以多个anchor匹配一个真值	每个grid cell负责检测中心点落在该cell里的1个物体，当有物体中心点落在cell时才和真值匹配，选择2个预测box里置信度最大的作为输出；	每个grid cell产生5个anchor，负责检测出中心落在该cell的物体, 中心点(x,y)是相对于当前cell左上角的偏移(归一化到0-1)，w和h是相对于anchor的长宽的变换(变换方式和faster一样)	每个grid cell产生3个anchor，负责检测出中心落在该cell的物体, 中心点(x,y)是相对于当前cell左上角的偏移(归一化到0-1)，w和h是相对于anchor的长宽的变换(变换方式和faster一样)
网络输出的(x,y,h,w)含义	(x,y)为相对anchor的偏移，(h,w)为相对anchor长宽的变换	每个尺度有5个ratio的anchor(1, 2, 1/2, 3, 1/3)，增加一个scale为sqrt(sk*sk+1)的1:1的anchor，一共6个	位置(x,y,h,w)中的x和y为物体的中心点，范围是(0, 1), 表示相对于当前cell的左上角的偏移，	位置(x,y,h,w)中的x和y为物体的中心点，范围是(0, 1), 表示相对于当前cell的左上角的偏移，(h,w)是相对于anchor的尺度变化	位置(x,y,h,w)中的x和y为物体的中心点，范围是(0, 1), 表示相对于当前cell的左上角的偏移，(h,w)是相对于anchor的尺度变化
roipooling	L2	7x7	7x7	无	无	无	无
定位loss		smooth l1	smooth l1	smooth l1	MSE, (x, y) 转化成相对于当前cell左上角的偏移，(w, h) 转换成相对于整张图的大小，范围都是(0, 1)	MSE, 和yolov1一样但是w和h不取根号，根据IOU修改loss权重以减少bbox尺寸对训练的影响，增加一项学习先验框形状的loss	MSE
置信度loss	无	无	无	无	MSE, 当grid含有目标的时候置信度label是预测bbox和ground truth的IOU(也可以直接设置为1，yolo代码里有个rescore控制设置策略)，当无目标时label为0	MSE	MSE
分类loss	SVM对每类做2分类	交叉熵+softmax，每个类别都需要有	交叉熵+sigmoid，交叉熵+softmax，(rpn中只需要分前景背景两类，fast阶段需要每个类别都分)	交叉熵+softmax	mse, softmax取每个类别概率，对应真值为1	mse, softmax取每个类别概率，对应真值为1	MSE+sigmoid每类单独sigmoid
特点	cnn分类	cnn同时分类和回归，引入roi pooling来解决R-CNN中重复卷积问题	把selective search用rpn网络替换，实现真正的end-to-end	单阶段，多尺度，anchor	loss全采用MSE loss，单阶段	BN、分类网络高分辨率预训练、Anchor Box替换全连接层、聚类生成anchor、绝对位置预测、细粒度特征、多尺寸训练	加入多尺度、分类改成sigmoid
优点	不采用穷举而用SS的方式找rigin proposals，从DPM HSC的34.3%直接提升到了66%(mAP)	不同SVM而用softmax分类，可以端到端，多任务损失函数	真正的端到端、引入rpn	结合faster的anchor和yolo的单阶段，还有多尺度；效果比yolov1好，速度比faster快；对小目标也不错(因为多尺度)	输出根据整张图预测背景错误率低，艺术作品效果好，快	加入anchor、优化了很多地方	每个尺度的anchor不同，分类不是排他性质的softmax
缺点	训练步骤繁琐（微调网络+训练SVM+训练bbox回归), 而且需要保存特征占用空间多；每个候选框先resize到统一大小，然后分别作为CNN的输入，会重复提取特征	训练测试慢，依旧用ss选proposals	无多尺度、detect head计算量大(因为需要对每个proposals分类，找的太多而且有的有重叠)，仍然不是实时	定位误差大, 小目标不好, 每个cell只能预测一个物体	只是融合了两个尺度信息吗，多尺度不够充分	多尺度不够充分

一、faster rcnn：

• 分为RPN和Fast rcnn两个部分，每个部分再分为分类和回归损失：
  • RPN损失：$$\begin{array}{rl}L\left(\left\{p_i\right\},\left\{t_i\right\}\right)=\frac{1}{N_{cls}}& \sum _i{L}_{cls}\left(p_i,p_i^{\ast }\right)\\ +\lambda & \frac{1}{N_{reg}}\sum _i{p}_i^{\ast }{L}_{reg}\left(t_i,t_i^{\ast }\right)\end{array}$$
    Lcls表示二分类的log loss（是否是目标），Lreg表示 smooth l1 loss(更鲁棒，收敛更快)；
  • Fast rcnn损失：$$L\left(p,u,t^u,v\right)=L_{cls}(p,u)+\lambda [u\ge 1]L_{loc}\left(t^u,v\right)$$ 【u>=1 】的意思是需要是前景才反传定位损失, 分类采用采用log loss（即对真实分类的概率取负log，分类输出K+1维）；
• 回归损失采用smoothL1：
  $$\begin{array}{r}{t}_x=\left(x-x_a\right)/w_a;t_y=\left(y-y_a\right)/h_a\\ t_w=\log \left(w/w_a\right);t_h=\log \left(h/h_a\right)\\ t_x^{\ast }=\left(x^{\ast }-x_a\right)/w_a;t_y^{\ast }=\left(y^{\ast }-y_a\right)/h_a\\ t_w^{\ast }=\log \left(w^{\ast }/w_a\right);t_h^{\ast }=\log \left(h^{\ast }/h_a\right)\end{array}$$
  $${\mathrm{smooth}}_{L_1}(x)=\{\begin{array}{ll}0.5x^2& \text{ if }|x|<1\\ |x|-0.5& \text{ otherwise }\end{array}$$
• 其他：
  公式里的x代表 (tx - tx*)，即预测值和真实值的差距，xa和ya代表anchor的中心点坐标，wa和ha代表anchor的长和宽，x和x*则分别代表预测值和真值的；

二、ssd

$$L(x,c,l,g)=\frac{1}{N}\left(L_{conf}(x,c)+\alpha L_{loc}(x,l,g)\right)$$
$$\begin{array}{rl}{L}_{loc}(x,l,g)=\sum _{i\in Pos}^N\sum _{m\in \{cx,cy,w,h\}}& x_{ij}^k{\text{ smooth }}_{\mathrm{L}\mathrm{I}}\left(l_i^m-{\hat{g}}_j^m\right)\\ {\hat{g}}_j^{cx}=\left(g_j^{cx}-d_i^{cx}\right)/d_i^w& {\hat{g}}_j^{cy}=\left(g_j^{cy}-d_i^{cy}\right)/d_i^h\\ {\hat{g}}_j^w=\log \left(\frac{g_j^w}{d_i^w}\right)& {\hat{g}}_j^h=\log \left(\frac{g_j^h}{d_i^h}\right)\end{array}$$
$$L_{conf}(x,c)=-\sum _{i\in Pos}^N{x}_{ij}^p\log \left({\hat{c}}_i^p\right)-\sum _{i\in Neg}\log \left({\hat{c}}_i^0\right)\text{ where }{\hat{c}}_i^p=\frac{\exp \left(c_i^p\right)}{{\sum }_p\exp \left(c_i^p\right)}$$

• 其他：
  ssd参考faster rcnn的loss ，Lloc是smooth l1 loss， Lconf是softmax(positive和negitive都是，这点和faster不同，faster的rpn采用log loss)

三、yolov1

$$\begin{array}{r}{\lambda }_{\text{coord }}\sum _{i=0}^{S^2}\sum _{j=0}^B{1}_{ij}^{\text{obj }}\left[{\left(x_i-{\hat{x}}_i\right)}^2+{\left(y_i-{\hat{y}}_i\right)}^2\right]\\ +{\lambda }_{\text{coord }}\sum _{i=0}^{S^2}\sum _{j=0}^B{1}_{ij}^{\text{obj }}\left[(\sqrt{w_i}-\sqrt{{\hat{w}}_i}{)}^2+(\sqrt{h_i}-\sqrt{{\hat{h}}_i}{)}^2\right]\\ +\sum _{i=0}^{S^2}\sum _{j=0}^B{1}_{ij}^{\text{obj }}{\left(C_i-{\hat{C}}_i\right)}^2\\ +{\lambda }_{\text{noobj}}\sum _{i=0}^{S^2}\sum _{j=0}^B{1}_{ij}^{\text{noobj }}{\left(C_i-{\hat{C}}_i\right)}^2\\ +\sum _{i=0}^{S^2}{1}_i^{\text{obj }}\sum _{c\in \text{ classes }}{\left(p_i(c)-{\hat{p}}_i(c)\right)}^2\end{array}$$

yolov1最经典的地方就是这个loss，

前两项为定位loss：

$$\begin{gathered} {\lambda }_{\text{coord }}\sum _{i=0}^{S^2}\sum _{j=0}^B{1}_{ij}^{\text{obj }}\left[{\left(x_i-{\hat{x}}_i\right)}^2+{\left(y_i{\hat{y}}_i\right)}^2\right] \\ +{\lambda }_{\text{coord}}\sum _{i=0}^{S^2}\sum _{j=0}^B{1}_{ij}^{\text{obj}}\left[(\sqrt{w_i}-\sqrt{{\hat{w}}_i}{)}^2+(\sqrt{h_i}-\sqrt{{\hat{h}}_i}{)}^2\right] \end{gathered}$$

$1_{ij}^{\text{obj }}$取值为{0, 1}，当格子里有匹配的真值时为1，否则为0；
${\lambda }_{\text{coord}}$ 为 定位loss权重，取5；
这里对 w 和 h 取根号是因为降低大目标的对定位的影响(损失函数更倾向于调整尺寸比较大的目标，但是小目标很小的偏移对定位影响可能会很大，其实应该有更大的loss)；
(x, y) 表示bbox的中心坐标，是相对于每个单元格左上角坐标点的偏移值，左上角偏移为0，并且单位是相对于单元格大小的；
w 和 h 是bbox的宽和高, 是相对于整个图片的宽与高的比例，单位是相对于整张图的；

第三、四项是置信度loss：

$$\begin{gathered} \sum _{i=0}^{S^2}\sum _{j=0}^B{1}_{ij}^{\text{obj }}{\left(C_i-{\hat{C}}_i\right)}^2 \\ +{\lambda }_{\text{noobj }}\sum _{i=0}^{S^2}\sum _{j=0}^B{1}_{ij}^{\text{noobj }}{\left(C_i-{\hat{C}}_i\right)}^2 \end{gathered}$$
$1_{ij}^{\text{noobj }}$在格子内没有匹配的真值时为1，否则为0；
$1_{ij}^{\text{obj }}$在格子内有匹配的真值时为1，否则为0；
${\lambda }_{\text{noobj}}$ 是无目标时的置信度损失权重，取0.5；
置信度为 $\mathrm{Pr}(\text{Object})\ast IO{U}_{\text{pred}}^{\text{truth}}$，$\mathrm{Pr}(\text{Object})$ 取值为{0， 1}，即当格子不含有物体时，置信度的label为0，当含有物体时，置信度的label为预测框与真实物体框的IOU；

最后一项是分类loss：

$$\sum _{i=0}^{S^2}{1}_i^{\text{obj }}\sum _{c\in \text{ classes }}{\left(p_i(c)-{\hat{p}}_i(c)\right)}^2$$
类别loss，当格点位置有物体时候才计算物体类别概率P；

四、yolov2

$\begin{array}{rl}{\mathrm{loss}}_t={\sum }_{i=0}^W{\sum }_{j=0}^H{\sum }_{k=0}^A& 1_{\mathrm{Max}\text{ IOU }<\text{ Thresh }}{\lambda }_{\text{roobj }}\ast {\left(-b_{ijk}^o\right)}^2\\ & +1_{t<12800}{\lambda }_{\text{pior }}\ast {\sum }_{r\in (x,y,w,h)}{\left({\text{ prior }}_k^r-b_{ijk}^r\right)}^2\\ & +1_k^{\text{truth }}({\lambda }_{\text{coord }}\ast {\sum }_{r\in (x,y,w,h)}{\left({\text{ truth }}^r-b_{ijk}^r\right)}^2\\ & +{\lambda }_{obj}\ast {\left(IO{U}_{\text{truh }}^k-b_{ijk}^o\right)}^2\\ & +{\lambda }_{\text{class }}\ast \left({\sum }_{c=1}^c{\left({\mathrm{truth}}^c-b_{ijk}^c\right)}^2\right))\end{array}$

第一、四项(置信度loss)：

$$\begin{gathered} 1_{\mathrm{Max}\text{ IOU }<\text{ Thresh }}{\lambda }_{\text{roobj }}\ast {\left(-b_{ijk}^o\right)}^2 \\ +{\lambda }_{obj}\ast {\left(IO{U}_{\text{truh }}^k-b_{ijk}^o\right)}^2 \end{gathered}$$
第一项计算background的置信度误差，计算各个预测框和所有真值的IOU，最大IOU小于阈值(论文里是0.6)的预测框就标记为background，即noobj的置信度误差，希望把没真值的预测框的预测置信度降低为0；
第四项计算foreground的置信度误差；
这里的置信度和yolov1是一样的，都是$\mathrm{Pr}(\text{Object})\ast IO{U}_{\text{pred}}^{\text{truth}}$ ；
YOLOv1中no_objects_loss和objects_loss权重分别是0.5和1，而YOLOv2中则是1和5；

第二、三项(定位loss)：

$$\begin{gathered} 1_{t<12800}{\lambda }_{\text{prior }}\ast \sum _{r\in (x,y,w,h)}{\left({\text{prior}}_k^r-b_{ijk}^r\right)}^2 \\ +1_k^{\text{truth }}({\lambda }_{\text{coord}}\ast \sum _{rϵ(x,y,w,h)}{\left({\mathrm{truth}}^r-b_{ijk}^r\right)}^2 \end{gathered}$$
第二项是计算先验框与预测框的误差，只在前12800个iterations时才计算，目的是为了让网络更快的学习到先验框的形状，这一项不考虑是否包含真值；
第三项是定位loss，当某个anchor与真值匹配时计算。

第五项(分类loss)：

计算类别loss，每个真值都会给对应anchor一个类别label，对应预测值和anchor来算loss；

anchor、真值、预测框如何对应？

对于每个ground truth，可以确定它的中心落在哪个cell中，每个cell有5个anchor，计算这5个anchor和ground truth的IOU，(这里计算IOU不是把真值和anchor都在原图上画出来计算的，而且假设中心点对齐, 即只考虑它们的形状能达到的最大IOU)，找到IOU最大的anchor来和ground truth匹配(最多只能有一个匹配)，这个anchor负责检测出这个ground truth；

注意：

yolo中的一个ground truth只与一个anchor匹配（ground truth中心落在的grid cell的5个anchor里面和它IOU值最大的），对于那些IOU值小于阈值的先验框，预测结果直接忽略；
SSD与FASTER RCNN的RPN网络可以将一个ground truth分配给多个先验框;
yolov2 和 yolov1 都采用均方差来计算loss；
yolov1里面定位loss的 h 和 w 都取了根号，为了降低bboxs的大小对误差的影响, yolov2采用的方式是根据目标大小给与不同权重，l.coord_scale * (2 - truth.w*truth.h)（w 和 h 取值范围是 (0, 1))；
yolov2 和 yolov1 的损失函数都为均方差函数；

五、yolov3

$$\begin{array}{rl}\text{loss}& ={\lambda }_{\text{cord}}\sum _{i=0}^{N\times N}\sum _{j=0}^K{1}_{ij}^{\text{obj}}\left[{\left(t_x-t_x^{\prime }\right)}^2+{\left(t_y-t_y^{\prime }\right)}^2\right]\\ & +{\lambda }_{\text{coord}}\sum _{i=0}^{N\times N}\sum _{j=0}^K{1}_{ij}^{\text{obj}}\left[{\left(t_w-t_w^{\prime }\right)}^2+{\left(t_h-t_h^{\prime }\right)}^2\right]\\ & -\sum _{i=0}^{N\times N}\sum _{j=0}^K{1}_{ij}^{\text{obj}}\left[c_i^{\prime }\log \left(c_i\right)+\left(1-c_i^{\prime }\right)\log \left(1-c_i\right)\right]\\ & -{\lambda }_{\text{noobj}}\sum _{i=0}^{N\times N}\sum _{j=0}^K{1}_{ij}^{\text{noobj}}\left[c_i^{\prime }\log \left(c_i\right)+\left(1-c_i^{\prime }\right)\log \left(1-c_i\right)\right]\\ & -\sum _{i=0}^{N\times N}{1}_i^{\text{obj}}\sum _{\text{ceˊclasses }}\left[p_i^{\prime }(c)\log \left(p_i(c)\right)+\left(1-p_i^{\prime }(c)\right)\log \left(1-p_i(c)\right)\right]\end{array}$$

第一二项是定位loss：

和yolov2一样；

第三四项(置信度loss)：

从MSE改为采用交叉熵和sigmoid，置信度IOU，当有目标时最小化预测和真值的差距，当无目标是希望把置信度优化成0；

第五项(分类loss):

采用交叉熵和sigmoid来对每个类别分类，和v1和v2的softmax不同；

在COCO数据集有9个不同尺寸anchor box：(10x13)，(16x30)，(33x23)，(30x61)，(62x45)，(59x119)，(116x90)，(156x198)，(373x326)；
anchor和yolov2一样由聚类生成；
最小的13 * 13 特征图上应用最大的anchor box (116x90)，(156x198)，(373x326)，适合检测较大的目标，因为感受野较大；
中等的26*26特征图上应用中等的anchor box (30x61)，(62x45)，(59x119)，适合检测中等大小的目标，因为感受野适中；
较大的52*52特征图上应用最小的anchor box(10x13)，(16x30)，(33x23)，适合检测较小的目标，因为感受野较小；
换算anchor和ground truth的坐标到feature map上需要 坐标/ stride,比如13 * 13的feature上的坐标都需要原始坐标除以32(416 * 416 降采样32倍成为13 * 13)；

一篇不错的文章：https://cloud.tencent.com/developer/news/281788