SiamFT：通过完全卷积孪生网络进行的RGB红外融合跟踪方法
目录
- 论文下载地址
- 代码下载地址
- 论文作者
- 模型讲解
-
- [背景介绍]
- [论文解读]
-
-
- [SiamFT的网络结构]
- [特征融合网络]
-
-
- [模态权重计算]
- [特征融合]
-
-
- [训练过程]
-
-
- [损失函数]
- [性能指标]
-
- [结果分析]
-
-
- [定量结果]
- [定性结果]
- [运行时间]
-
- 传送门
论文下载地址
[SiamFT论文地址]
[论文部分纠正地址]
代码下载地址
[GitHub-unofficial]代码本人所写，没有预训练权重，代码仅供参考
论文作者
模型讲解
[背景介绍]
此SIamFT网络是利用光学和红外图像进行数据融合，并应用于视频跟踪领域。阅读此博文前推荐先阅读[VIF-Net：红外和可见图像融合的无监督框架]。VIF-Net就给出了一种无监督的数据融合网络，但是网络只是进行数据融合，没有应用于其他的领域。另外，普通的视频跟踪方法，并没有使用多种数据，阅读此博文前推荐先阅读[视频跟踪]中的论文解读，其中都是基于孪生网络的深度学习方法。
[论文解读]
视频跟踪方法上，比较流行的方法是深度学习方法和相关滤波算法，前者取得了更好的性能，后者拥有更好的效率。
视频跟踪数据上，大多数视频跟踪算法是针对可见图像（RGB图像）开发的。 尽管取得了显着进步，但基于可见图像的跟踪算法可能会失败，因为在某些情况下它们可能不可靠。 例如，当照明条件差时。 相反，红外图像显示了物体的热信息，并且对这些因素不敏感。 它们可以为可见图像提供补充信息，并在黑暗等情况下显示被伪装的物体。 此外，在某些情况下，RGB图像比红外图像更可靠，因为它们具有颜色特征并可以提供更多细节，如下图所示。
通过利用可见光和红外图像中的补充信息，可以显着提高跟踪算法的鲁棒性。 因此，基于可见光和热红外图像的目标跟踪已成为研究的热点，被称为RGB红外融合跟踪。
在本文中，作者提出了一种有高效的RGB红外融合跟踪方法，该方法可以实时跟踪并可以与目前先进跟踪器相互竞争的性能。 也就是作者提出了一种基于完全卷积的孪生网络的融合跟踪方法，并将其称为SiamFT。
[SiamFT的网络结构]
SiamFT的流程图如下图所示。可以说SIamFT使用了双重的孪生网络，可见光网络和红外网络。 它们分别用于处理可见图像和红外图像。backbone使用的是SiamFC网络，网络权值可能不共享，可见光部分的网络权值共享，红外部分网络权值共享，也就是下图灰色的部分。
backbone的结构在下图中给出。可以看出，除最后一个卷积层之外，每个卷积层之后都是ReLU层。 而且，仅在前两个卷积层之后使用池化层。 此外，该CNN是完全卷积的，因此对输入图像的大小没有限制要求。
在网络输入方面，与SiamFC相同，都是从中心截取。对于模板图像，在第一帧中以标记中心为中心截取 127 × 127 × 3 127×127×3 127×127×3的图像。对于搜索图像，以上一帧框中心为中心截取 255 × 255 × 3 255×255×3 255×255×3的图像，如果尺寸不够裁剪，则在裁剪后以平均像素值进行填充。
SiamFT网络在数据融合上，要经过模板特征融合和搜索特征融合。
①模板特征融合
在可见光和红外模板图像经过backbone后产生的深层特征进行相连，这里是通道相连，产生融合特征。
②搜索特征融合
在可见光和红外搜索图像经过backbone后产生的深层特征送入特征融合网络，网络的具体操作会在后面说明。
最后，生成新的模板特征和搜索特征，进行相互卷积，生成响应图，意义就是在搜索图像中模板图像的响应值。这一部分的具体内容和[SiamFC：利用全卷积孪生网络进行视频跟踪]中没有区别。
如果可见光部分backbone操作为 φ φ φ，红外部分backbone操作为 φ ′ φ′ φ′， z v z_v zv和 x v x_v xv分别为输入可见光部分的模板图像和搜索图像， z t z_t zt和 x t x_t xt分别为输入红外部分的模板图像和搜索图像，那么生成响应图可以表示为： r e s p o n s e M a p = ( φ ( z v ) ⊕ φ ′ ( z t ) ) ∗ ( φ ( x v ) ⊕ φ ′ ( x t ) ) responseMap=(φ(z_v)⊕φ′(z_t))*(φ(x_v)⊕φ′(x_t)) responseMap=(φ(zv)⊕φ′(zt))∗(φ(xv)⊕φ′(xt))其中 ∗ * ∗代表相关运算也就是卷积操作， ⊕ ⊕ ⊕代表特征融合，注意两个 ⊕ ⊕ ⊕的融合方法是不一样的但是都是特征融合。作者为了方便研究令 φ φ φ与 φ ′ φ′ φ′相同，权值共享。
下面的算法流程展示了SiamFT的过程。
| 算法1：基于孪生网络的融合跟踪算法(SiamFT) |
|---|
1 输入可见图像和红外图像，第一帧的Groundtruth |
2 输出 每个帧中目标的预测位置和大小 |
3 初始化 |
4 裁剪可见光图像获得模板图像 z v z_v zv |
5 裁剪红外图像获得模板图像 z t z_t zt |
6 跟踪 |
7 对于 每一帧 i i i 运行 |
8 裁剪当前帧可见光图像获得搜索图像 x v x_v xv |
9 裁剪当前帧红外图像获得搜索图像 x t x_t xt |
10 将 z v z_v zv和 x v x_v xv送入可见光部分网络得到 φ ( z v ) φ(z_v) φ(zv)和 φ ( x v ) φ(x_v) φ(xv) |
11 将 z t z_t zt和 x t x_t xt送入红外部分网络得到 φ ′ ( z t ) φ′(z_t) φ′(zt)和 φ ′ ( x t ) φ′(x_t) φ′(xt) |
12 基于 z v z_v zv和 x v x_v xv计算可见光特征模态权重 |
13 基于 z t z_t zt和 x t x_t xt计算红外特征模态权重 |
14 利用特征融合网络融合 φ ( z v ) φ(z_v) φ(zv)和 φ ′ ( z t ) φ′(z_t) φ′(zt)，得到融合模板特征 φ ( z v ) ⊕ φ ′ ( z t ) φ(z_v)⊕φ′(z_t) φ(zv)⊕φ′(zt) |
15 利用特征融合网络融合 φ ( x v ) φ(x_v) φ(xv)和 φ ′ ( x t ) φ′(x_t) φ′(xt)，得到融合搜索特征 φ ( x v ) ⊕ φ ′ ( x t ) φ(x_v)⊕φ′(x_t) φ(xv)⊕φ′(xt) |
16 根据公式 r e s p o n s e M a p = ( φ ( z v ) ⊕ φ ′ ( z t ) ) ∗ ( φ ( x v ) ⊕ φ ′ ( x t ) ) responseMap=(φ(z_v)⊕φ′(z_t))*(φ(x_v)⊕φ′(x_t)) responseMap=(φ(zv)⊕φ′(zt))∗(φ(xv)⊕φ′(xt))计算响应图 |
17 对响应图上采样获得目标的预测位置 |
18 循环结束 |
[特征融合网络]
这一部分具体介绍了特征融合的操作。下图展示了特征融合网络的结构。特征融合网络的目的是对可见光和红外的搜索特征进行融合，同时作者也利用搜索图像的特征，生成新的搜索特征。注意生成新的模板特征只是通过多通道叠加，生成新的搜索特征利用新的网络。
[模态权重计算]
特征融合网络的关键是模态权重的计算，在本研究中，作者提出了一种基于从互相关计算中获得的响应值的模态权重计算方法。简单理解就是，可见光和红外特征的贡献是不一样的，可以赋上一组权重，叫做模态权重。权重的计算主要依赖与哪一种搜索特征与模板特征更相似，更相似的就更容易进行跟踪，其对应的模态权重也就越大。这也与注意力机制相似，使网络更注重与需要的特征。
如上图所示（原论文中图片错误，在作者更正论文中进行了更正，上图正确），上面一排是可见光图像，下面一排是红外图像，下面的折线图中，蓝色是可见光响应图的最大值，红色是红外响应图的最大值。
左边图像序列第3帧中可见光图像比红外图像更清晰，所以可见光特征的响应图最大值高于红外特征，所以需要更多利用可见光特征进行融合。
右边是由于黑暗导致可见光图像目标不清晰，在可见光质量不好的情况下，需要更多利用红外特征进行融合，所以红外特征的模态权值会更高，也就是红色的线会高于蓝色。这些也可以说明通过互相关层的响应图最大值可以作为模态权重。所以模态权重可以定义为：
weight i = { max ( R i ) , i f d < threshold max ( R i ) d , i f d ≥ threshold \text { weight }_{i}=\left\{\begin{array}{ll} \max \left(R_{i}\right), if & d<\text { threshold } \\ \frac{\max \left(R_{i}\right)}{\sqrt{d}}, i f & d \geq \text { threshold }\end{array}\right. weight i={max(Ri),ifdmax(Ri),ifd< threshold d≥ threshold 其中 i i i代表模态，就是可见光和红外两种， R i R_i Ri代表 i i i的响应图，其中作者引入 d d d是连续两帧目标的距离，在视频跟踪中，两帧之间的距离不会过大，所以一旦超出一个阈值，会对模态权重进行限制。然后进行权重归一化：
ω v = weight v weight v + weight t ω t = weight t weight v + weight t \begin{aligned} &\omega_{v}=\frac{\text {weight}_{v}}{\text {weight}_{v}+\text {weight}_{t}}\\ &\omega_{t}=\frac{\text {weight}_{t}}{\text {weight}_{v}+\text {weight}_{t}} \end{aligned} ωv=weightv+weighttweightvωt=weightv+weighttweightt其中 ω v ω_v ωv和 ω t ω_t ωt分别是可见光特征和红外特征的归一化模态权重。
[特征融合]
模板是从第一帧获得的，并且在跟踪过程中未更新，因此，融合后的模板为：
φ ( z v ) ⊕ φ ′ ( z t ) = c o n c a t ( φ ( z v ) , φ ′ ( z t ) ) φ(z_v)⊕φ′(z_t)=concat(φ(z_v),φ′(z_t)) φ(zv)⊕φ′(zt)=concat(φ(zv),φ′(zt))
这里只是在第一帧，将两个模板特征通道叠加，没有赋予权重。而在第二帧开始将会结合模态权重：
φ ( z v ) ⊕ φ ′ ( z t ) = c o n c a t ( ω v × φ ( z v ) , ω t × φ ′ ( z t ) ) φ(z_v)⊕φ′(z_t)=concat(ω_v×φ(z_v),ω_t×φ′(z_t)) φ(zv)⊕φ′(zt)=concat(ωv×φ(zv),ωt×φ′(zt))其中 ω v ω_v ωv和 ω t ω_t ωt分别是可见图像和红外图像的模态权重。
[训练过程]
[损失函数]
利用网络的输出和标记的响应图，计算损失函数：
L ( y , v ) = 1 ∣ D ∣ ∑ u ∈ D log ( 1 + exp ( − y [ u ] ⋅ v [ u ] ) ) L(y, v)=\frac{1}{|D|} \sum_{u \in D} \log (1+\exp (-y[u] \cdot v[u])) L(y,v)=∣D∣1u∈D∑log(1+exp(−y[u]⋅v[u]))
其中 y [ u ] y[u] y[u]与 v [ u ] v[u] v[u]分别表示网络的输出和Groundtruth，对响应图遍历取平均值。
训练50epoch，一个epoch50K个图像对，学习率为 1 0 − 2 − 1 0 − 5 10^{-2}-10^{-5} 10−2−10−5。
[性能指标]
具体性能指标可以阅读[视频跟踪数据集指标分析]。其中SR类似于VOT中的Accuracy，PR类似于VOT中的Center Error。
[结果分析]
[定量结果]
在十九种RGB红外视频的所有比较跟踪器中，作者提出的SiamFT在SR方面均达到最佳结果，在PR方面获得次优（略差于最佳）。 特别是，在SR方面，SiamFT在7个序列上均优于所有追踪器，在PR方面，它在6个序列上均优于所有追踪器。 此外，SiamFT在SR的16个视频和PR的13个视频中均排名前三。 这清楚地证明了SiamFTin在RGB红外融合跟踪中的有效性。
SR方面如下表，表格中红色最好，绿色第二，蓝色第三。
PR方面如下表，表格中红色最好，绿色第二，蓝色第三。
[定性结果]
下图展示了一些视频上不同跟踪器之间边界框的定性比较，这从视觉上证明了作者方法的有效性。 可以发现，在某些挑战性条件下（例如遮挡，比例尺变化，照明条件较差），建议的跟踪器更加强大。
[运行时间]
作者提出的跟踪器的运行速度约为28-32FPS，因此可以满足实时性要求。 这比速度仅为几个FPS的方法（例如SGT（5 FPS）和LGMG（7FPS））更快，更实用，证明了所提方法的效率。
传送门
◉ RGB红外
数据集
[TNO-RGB红外图像]
[FLIR-RGB红外图像]
[Multispectral Image Recognition-RGB红外目标检测]
[Multispectral Image Recognition-RGB红外语义分割]
[INO-RGB红外视频]
[SYSU-MM01行人重识别可见光红外数据]
论文
[VIF-Net：RGB和红外图像融合的无监督框架]
[SiamFT：通过完全卷积孪生网络进行的RGB红外融合跟踪方法]
[TU-Net/TDeepLab：基于RGB和红外的地形分类]
[RTFNet：用于城市场景语义分割的RGB和红外融合网络]
[DenseFuse：红外和可见图像的融合方法]
[MAPAN：基于自适应行人对准的可见红外跨模态行人重识别网络]
◉ 多光谱高光谱
数据集
[高光谱图像数据]
论文
[Deep Attention Network：基于深层注意力网络的高光谱与多光谱图像融合]
◉ RGBSAR
数据集
[待更新]
论文
[待更新]
◉ RGB红外SAR
数据集
[待更新]
论文
[待更新]
大家有数据融合方向的优秀论文可以在评论分享一下，感谢。