直线检测论文（霍夫变换，LSD，DWP，L-CNN，AFM，HAWP，PPGNet，TP-LSD，M-LSD，LETR）

记录一手最近看的直线检测论文。

直线检测

线段和连接点是低级视觉中的重要视觉特征，为高级视觉任务提供基本信息，如姿势估计、运动结构、3D重建，图像匹配、线框到图像的转换和图像校正。

传统方法

霍夫变换

LSD

LSD直线检测方法首先计算每个像素点的水平线（level-Line）角度，从而形成了一个水平线场，即单位矢量场，这里像素点的水平线角度就是该点梯度方向的垂直角度，如下图所示，而水平线场就是一个与图像中的点一一对应的矩阵，矩阵中元素的值即为对应到图像中点的水平线角度。

算法首先计算每个像素的水平线角度，以构成一个水平线场。该场被分割为连通的若干个部分，它们方向近似相同并且在容忍度τ内，这样可以得到一系列区域，这些区域被称为 line support regions（支持域）。

整体算法的过程图

基于深度学习的LSD

随着深度神经网络的出现，基于深度学习的LSD体系结构已经采用模型来学习线段的各种几何线索，并证明其性能有所提高。

LSD数据集

York Urban Line Segment Database Information

wireframe

[DWP](Learning to Parse Wireframes in Images of Man-Made Environments (thecvf.com))

连接点检测

网络将输入图像划分为一个$H\times W$网格。如果连接点的中心落入网格单元，该单元负责检测它。因此，每个第$ij$单元预测置信度得分$c_{ij}$，反映模型认为该单元中存在连接点的置信度。为了进一步定位连接点，每个第$ij$单元还预测其到单元中心的相对位移$x_{ij}$。

分支检测

将圆（即从0到360度）划分为$K$个相等的bin，每个bin跨越$\frac{360}{K}$度。设第$k$个bin的中心为$b_k$，然后将角度$\theta$表示为$（k，∆k）$ ，如果$\theta$落入第$k$个bin，其中$∆k$是从中心bk沿顺时针方向的剩余角度。因此，对于每个bin，我们回归到这个局部方向$∆k$ 。

网络架构由一个编码器和两组解码器组成。编码器将整个图像作为输入，通过卷积网络生成高级描述符的$H\times W$网格。然后，解码器使用特征描述符进行连接点预测。每个连接点由$p_{ij}=(x_{ij}，c_{ij}，{{\theta }_{ij}，c_{ijk}^{\theta }}_{k=1}^K)$描述，其中，$x_{ij}$是连接中心的坐标，$c_{ij}\in [0，1]$是第$ij$个网格单元中存在连接的置信度得分，${\theta }_{ijk}$是第$k$个bin中分支的角度，$c_{ijk}$是bin的置信度得分。这两组解码器分别预测连接中心和分支。每个FCN解码器是一个卷积层+回归器。

连接点Loss
$$L={\lambda }_{conf}^c{L}_{conf}^c+{\lambda }_{loc}^c{L}_{loc}^c+{\lambda }_{conf}^b{L}_{conf}^b+{\lambda }_{loc}^b{L}_{loc}^b$$

编码器基于Google的Inception-v2模型,只使用网络中的前几层，每个解码器由一个$3\times 3\times 256$卷积层、一个ReLU层和一个回归器组成。

直线检测

该网络为每个像素$p$预测其是否落在线$l$上。为了抑制局部边缘、短线和曲线，将像素$p$处的预测值$h（p）$设置为其所属线的长度。给定具有GT线$L$的图像，$h（p）$的目标值定义为：
$$h(p)=\{\begin{array}{ll}d(l)& \text{pis on a line l in L}\\ 0& \text{pis not on any line in L}\end{array}$$
直线Loss
$$L=\sum _{i,j}||\hat{h}(p_{ij})-h(p_{ij})|{|}_2^2$$
以一幅$320\times 320\times 3$的RGB图像作为输入，通过三个金字塔残差模块（PRM）提取一幅$80\times 80\times 256$的特征地图。然后，特征图经过五个堆叠的沙漏模块，然后是两个完全卷积和ReLU层（$5\times 5\times 32和5\times 5\times 16$）和一个$5\times 5\times 1$卷积层，以输出$320\times 320\times 1$像素级的heatmap。

连接点与直线结合

首先应用阈值$w$将线heatmap$h$转换为二值图$M$。一对检测到的连接点$p$和$q\in P$，如果它们在（或接近于）彼此的分支上，通过线段$l=（p，q）$连接，则将该线段$l$添加到$L$。如果在连接点$p$的同一分支上有多个检测到的连接，只保留最短的线段，以避免重叠。

对于连接点$p$的未连接分支，首先查找位于分支射线上的最远线像素$q_M$，再找线段$（p，q_M）$与L中线段的交点$q_1，q_2...q_S$，计算每个段的线支撑比$k$（线像素数与线段总长度比例），$k$大于0.6则将该段放入$L$，其端点放入$P$。

L-CNN

一种自下而上的直线检测方法。

所解决的问题

结构复杂，存在多个相互独立的阶段（DWP）

L-CNN包含了四个模块：

一个用来进行特征提取的主干网络将一个图片作为输入并为后续的模块提供了共享卷积特征图；

连接点预测模块，输出候选连接点；

线段采样模块，从连接点预测模块输出的连接点预测出线段；

线段校正模块，分类出预测的线段。

主干网络

主干网络选择SHN，首先通过两个步长为2的卷积层进行下采样，然后通过堆叠的沙漏模块进行特征细化。Loss为各模块Loss之和。

连接点预测

一个$W\times H$的图片首先被划分成$W_b\times H_b$个区域。对于每个区域，网络预测该区域是否存在一个连接点，如果存在，网络继续预测连接点在该区域的相对位置。在数学上，网络输出一个连接点似然概率特征图$J$和一个偏移特征图$O$。
$$J(b)=\{\begin{array}{ll}1& \exists i\in V:p_i\in b\\ 0& otherwise\end{array}$$

$$O(b)=\{\begin{array}{ll}(b-p_i)/W_b& \exists i\in V:p_i\in b\\ 0& otherwise\end{array}$$

将预测J视作一个分类问题并使用平均的二分类交差熵损失作为损失函数。使用L2回归来预测偏移量特征图$O$。为了预测$J$和$O$，L-CNN设计了一个包含两个$1\times 1$卷积层的网络来将特征图转化为$J$和$O$。由于偏移量$O(b)$的范围在$[-1/2,1/2)\times [-1/2,1/2)$，我们在网络的输出后面追加一个带-0.5的偏移量的sigmoid激活函数用来归一化输出。

使用非极大值抑制矫正得到$J^{\prime }(b)$,利用max-pooling实现。

线采样模块

线段采样模块的目的是在训练阶段生成一个线段列表${L_j}_{j=1}^M={({\tilde{p}}_j^1,{\tilde{p}}_j^2)}_{j=1}^M$，这样线段校正模块就可以进行线段预测的学习。在这个任务中，正负样本及其不平衡，L-CNN通过设计采样机制来定位这个问题。

静态采样器：对于每张图片，静态线段采样直接从真实标注中提取出$N_s+$个正样本和$N_s-$个负样本。负线段样本的总量相比正线段样本十分巨大。为了缓解这个问题，我们对负线段样本S-进行采样，一组负线段样本的集合可能难以分类，使用以下的启发式算法来计算S-：首先我们将所有的真实线段映射到一个$64\times 64$的低分辨率二值图上。然后，对于每个可能的由一对儿连接点构成而实际上却不是真实线段的连接，我们定义它的hard分数为该线段的二值图上的平均像素密度。对每张图片，S-被设置为具有最高hard分数的2000个线段。
动态采样器：采样器首先将所有的预测连接点匹配到真实连接点上。$m_i=argmi{n}_j||{\hat{p}}_i-p_i|{|}_2$,如果$p_i$和$p_{mi}$之间的l2距离小于阈值$\eta$，我们认为候选连接点$p_i$完成了匹配。对每个候选线段$({\hat{p}}_{i1},{\hat{p}}_{i2})$,根据如下准则将它放入D+,D-和D*：

如果$p_{i1}$和$p_{i2}$都被匹配了，且$(m_{i1},m_{i2})\in E$，我们添加该条线段到正样本集合D+中；

如果$p_{i1}$和$p_{i2}$都被匹配了，且$(m_{i1},m_{i2})\in S-$，我们添加该线段到负向样本集合D-中；

随机样本集合D*包含所有候选连接点预测出的线段，不管匹配结果是什么。

线验证模块

线段验证模块接收到一个候选线段的列表和特征图，并预测每个线段是否正确。在训练阶段，L由线采样模块训练得出，在推理阶段，L是每个预测连接点对的集合。

对每个候选线段，将两个端点的坐标送入LoI池化层，并返回一个固定长度的特征向量。然后，将合并后的特征向量输入到一个由两个全连接层构成的网络并取log值返回。线段的损失函数是sigmoid二元交叉熵损失，loss计算单元是该log值和该线段的真实标签，可以是正样本或负样本。为了保持正负样本之间的损失平衡，修正网络中每张图片的损失是两个互相独立的损失的和，分别是正样本线段和负样本线段的平均。

[AFM](IEEE Xplore Full-Text PDF:)

AFM提出了一种基于区域划分的线段地图吸引场对偶表示方法，并将线段检测问题归结为区域着色问题。后者则通过学习深度卷积神经网络来解决。是一种自上而下的直线检测方法。

所解决的问题

线段heatmap中线/非线不平衡性问题，需要额外的启发式搜索算法（L-CNN）。

区域分割图

根据一个点到线的距离函数，将每个像素分配给一个且仅一个线段来计算。与一条线段相关联的像素形成一个区域。

吸引力场图

在吸引场图中，分区区域中的每个像素由其在像素和线段上的投影点之间的吸引/投影向量表示。

挤压模块

给定一个吸引场图A，首先通过计算晶格中每个像素p的实值投影点来反转它，并进行离散化，然后计算线图。利用了区域生长思想。

HAWP

L-CNN中线采样器阶段计算效率低，AFM并非严格端到端，性能低于L-CNN。

所提出的方法由三个部分组成：

初始化：线段检测和连接点检测。给定输入图像，它首先通过共享特征主干来提取深层特征。主干网络选择SHN。

细化：线段和连接点匹配。在细化过程中，如果线段的两个端点由两个连接点支持，则保留线段。如果连接点未找到任何支持线段，则将其删除。

验证：线段和连接点分类。验证过程是对细化阶段的线段和连接点进行分类（双重检查）。采用L-CNN中的LoI

HAFM

AFM方法中基于位移向量的几何重参数化方案只能提供投影点不在线段外的像素投影向量的完整信息。如果不仅使用p与其投影点之间的位移向量，还包括p与线段两端点之间的两个位移向量，我们可以通过其6-D位移向量重新参数化p，该向量可以完全确定线段。有些像素（例如，任何线段上的点）不应重新参数化，以避免退化，并被视为背景。由于6-D编码训练效果差，作者改用改进的4-D编码方式。

改进的编码方式

平移：将点p用作新的坐标原点。

旋转：然后将线段与垂直$y$轴对齐，端点$x_1$在顶部，点$p$（新原点）在左侧。旋转角度用$\theta$表示。

缩放：距离$d$作为单位长度，在新坐标系中归一化$x$轴/$y$轴。

在仿射变换后的新坐标系中，设${\theta }_1$和${\theta }_2$为图所示的两个角度，$p(\ddot{l})$被重新参数化为
$$p(\ddot{l})=(d,\theta ,{\theta }_1,{\theta }_2)$$
对于没有被任何线段吸引的“背景”点，我们使用虚拟4-D向量对其进行编码(−1, 0, 0, 0)。

仿射变换后进行规范化。$d/d_{max}$，$\frac{\theta }{2\pi }+\frac{1}{2}$。

线段预测

设$\hat{A}$为4-D预测图，$\Delta d$为距离残差图，总损失为$l_1$计算的$L_{LS}=L(A,\hat{A})+L(\Delta d,\widehat{\Delta d})$。

连接点预测

与L-CNN相同使用$J$，$O$。

线段与连接点匹配

当且仅当其两个端点可以与基于欧几里德距离的两个连接点相匹配且具有预定义阈值$\tau$时，才保留来自初始集的线段。如果在细化后与任何线段方案不匹配，则将删除连接点。匹配后，将线段和连接点耦合在一起，并使用轻型分类器进一步验证。

线段与连接点验证

采用与L-CNN相同的LoI，此外采用了与L-CNN中静态采样器类似的方法进行了样本扩充，验证阶段采用二值交叉熵损失。

[PPGNet](ppgnet-cvpr19.pdf (aiyoggle.me))

采用图的方法进行线段预测。在第一阶段检测连接点，然后识别所有点之间的连接性。包括四部分

1、用于在整个输入图像上进行特征提取的卷积主干架构

2、连接检测模块（JDM）

3、线段对齐模块（LSAM），用于提取由一对检测到的连接定义的线段候选的特征张量

4、邻接矩阵推理模块（AMIM），用于检测每个连接对之间的连接

给定一幅图像，网络预测两个连接点的位置及其由邻接矩阵表示的连接度。

主干网络

使用CSAIL网络作为主干网络，对于大小为$H\times W$的输入图像，骨干网络提取大小为$H/4\times W/4$的256通道特征图。

连接检测模块

JDM首先通过卷积结构从主干网络提取的特征中回归点heatmap，卷积结构包括两个conv3x3-bn-relu块，然后是一个带有sigmoid激活的conv1x1层。然后确定heatmap中的所有点，其中点响应高于阈值$\tau$，并且在8个相邻点中最高。然后对检测到的点进行分组，分组内任意两点之间的距离不大于$ϵ$，预测各组中连接响应最高的点为连接点。

线段对齐模块

给定两个连接点和一个特征映射，LSAM沿着连接对定义的线段候选对特征映射进行采样，并从特征映射中提取固定长度的特征向量。

邻接矩阵推理模块

LSAM提取对应于不同连接顺序的线段的两个特征向量，然后将其馈送到三个级联的conv2d-gn-relu块中。然后，使用单个conv2d-sigmoid块以不同的顺序获得连接对的连通性置信度，其中最低的为连接对的最终置信度。

损失函数

（实在是懒得打公式了，直接截图了）

TP-LSD

问题

自上而下的方法没有对端点的明确定义，自下而上的方法受连接点预测的影响，且计算速度低。

方法

提出了三点（TP）表示法，它使用一个根点作为唯一恒等式来定位线段，并且相应的两个端点用其相对于根点的位移来表示。此外，受人类根据直线感知线段的启发，我们通过嵌入特征聚合模块，将直线分割图与TP相关特征融合，利用直线分割图作为结构化先验来指导TP的推理。该检测器由三部分组成：特征提取主干、TP提取分支和线段分支。

U形网络用于生成共享特征，然后将其馈送到两个分支：1、TP提取分支，其中包含根点检测任务和偏移回归任务；2、线条分割分支，生成像素级线图。这两个分支由特征聚合模块（FAM）连接。最后，经过点滤波模块处理后，通过TP Generat将过滤后的TPs转换为矢量化的线段实例。

TP提取分支

根点检测部分：每个像素都被分类以区分它是否是根点。输出激活函数为sigmoid函数。

偏移回归：回归连续域中起点和终点相对于根点的两个位移。

线段分支

不精确的确定端点，为线段检测提供先验知识。输出激活函数是sigmoid函数。

FAM：由$tanh(w\times P(L+b))$获得直线激活映射$A_l$，共享特征首先与$A_l$聚合，送入根点检测部分。偏移回归部分类似。

PFM：利用线图过滤线外的噪声根点。
$$\tilde{P}(R)=\tilde{P}(R|L)\times \tilde{P}(L{)}^{\alpha }$$

损失

$$L_{total}={\lambda }_{root}{L}_{root}+{\lambda }_{disp}{L}_{disp}+{\lambda }_{line}{L}_{line}$$

根点置信度图由GT在零值图上标记根点位置，进行二维高斯平滑并使用$5\times 5$窗口截断。对于偏移图，计算根点附近$5\times 5$窗口到端点的距离，赋予这些像素。

LMS评估指标

$$LMS=Scor{e}_{\theta }\times Scor{e}_l$$

M-LSD

改进

使用轻量化的Mobile-V2网络，直接从特征图生成线段。

匹配损失

TP损失

$$L_{TP}=L_{center}+L_{disp}+L_{match}$$

SoL损失同理

几何损失

从中心点和位移向量导出的端点应为连接点。学习连接点和线段的分割图可以作为LSD的空间注意线索。总分段损失定义为$L_{seg}=L_{junc}+L_{line}$

由于偏移向量可以从线段的长度和度数中导出，因此它们可以作为额外的几何线索。我们根据GT计算长度和度数，并在每个GT图的线段中心标记该值。接下来，将这些值外推到$3\times 3$窗口，以便给定像素的所有相邻像素包含相同的值。总回归损失可表示为$L_{reg}=L_{lenth}+L_{degree}$

几何损失函数定义为分段损失和回归损失之和：
$$L_{Geo}=L_{seg}+L_{reg}$$
总损失函数如下：
$$L_{total}=L_{TP}+L_{SoL}+L_{Geo}$$

[LETR](2101.01909.pdf (arxiv.org))

算法流程

1、图像特征提取：给定图片首先基于 ResNet 提取图片特征$x\in R^{H\times W\times C}$
2、图像特征编码：将特征$x\in R^{H\times W\times C}$拉平编码$x^{\prime }\in R^{HW\times C}$，使用标准Transformer框架的多头自注意力模块和前馈网络。
3、Transformer解码器：$N$个可学习的线实体通过SA，CA，与编码器输出交互。
4、线段预测：线实体使用Transformer解码器顶部的两个预测头进行线段预测。

创新

设计了多尺度的编解码器

设计了直线检测Loss

粗编码

在粗解码阶段，我们将图像特征和线实体传递到编码器-解码器-转换器架构中。编码器从ResNet的Conv5（C5）输出中接收原始分辨率为$\frac{1}{32}$的粗略特征。

细编码

细解码器从粗解码器继承线实体，从细编码器继承高分辨率特征。编码器的输入来自ResNet的Conv4（C4）输出，原始分辨率为$\frac{1}{16}$。

线段损失

分类损失

距离损失

总损失