TCSVT | 横看成岭侧成峰：交叉视角地理定位

©作者｜王廷宇

学校｜杭州电子科技大学博士生

研究方向｜交叉视角地理定位

本文介绍了杭州电子科技大学（HDU），悉尼科技大学（UTS）被 IEEE Transactions on Circuits and Systems for Video Technology （TCSVT）录用的文章《Each Part Matters: Local Patterns Facilitate Cross-View Geo-Localization》。

交叉视角地理定位被广泛应用在精准递送、自动驾驶、机器人导航和事件检测等领域。如今，无人机已逐渐走入人们生活当中，如无人机快递，无人机事件监测等任务，都要求无人机能够实现一个较为精确的目标定位。

现存的大部分无人机定位任务都依靠 GPS 实现，但 GPS 定位或多或少存在一些位置偏移。为了使定位更精确，文章使用《University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization》提供的多平台多视角无人机图像检索数据集（简介），探索利用目标图像及其周围上下文信息，辅助 GPS 信号，实现精准定位。

论文地址：

https://arxiv.org/abs/2008.11646

代码地址：

https://github.com/wtyhub/LPN

文章的主要贡献

• 提出了一种简单有效的模型（LPN），不同于以前工作，其显示利用了图像目标周围的上下文信息。

• 该模型提出的环形分割策略，对图像的旋转具有较好的鲁棒性。

• 该模型提出的划分策略可互补的运用到现有的方法中，并进一步提升现有网络的性能。

方法具体实现

2.1 特征提取

文章特征提取网络共有三个分支，分别输入来自不同视角（即卫星、无人机和地面视角）的图像。其中，卫星视角和无人机视角共享一个分支。地面视角图像单独一个分支。由于地面视角与空中视角具有较大的差异，且地面视角图像的视野范围较窄，遮挡较多，文章中将地面图像作为对网络的正则，防止网络训练出现过拟合。

2.2 特征划分策略

受 LBP 算子的启发，文章提出了一种环形划分策略。此策略在特征层面上将图像划分为四个不重叠的区域。中心区域认为使地理目标，其他区域为目标周围由近及远的周围上下文信息。此种划分策略的优势在于，即便两张图像的方向不同，但其周围的上下文信息，仍可大致分在同一相对区域中。由此，网络对于图像的旋转便可具有一定的鲁棒性。

2.3 网络优化

在训练阶段，文章采用 instance loss 对网络进行优化，其为一种分类任务损失函数。具体表示为，文章将交叉视角目标定位看做是一个分类任务，每一个地理目标看作是一个类别。不同分支的图像都经过同一个分类器，具有相同类别的图像被分类器映射到同一类当中，从而实现不同视角相同目标图像的匹配。

与传统分类任务不同的是，网络测试所用到的地理目标图像并不会在训练集中出现，即训练集和测试集是不相交的，网络仍然通过计算不同视角图像的欧式距离或着余弦距离来判断是否成功定位到所在目标。

▲ loss函数

2.4 划分策略在现有方法上的应用

文章提出的划分策略也使得现有方法的精度得到了进一步的提升。由于现有方法所采用数据集（CVUSA/CVACT）与本文章所使用的 University-1652 数据集表示形式不同，故文章对提出的划分策略进行了合理的变化，以适应不同的方法。

具体表述为，当输入图像对为卫星图和地面全景图时，文章根据全景图和卫星图的对应几何关系，将在全景图上的划分方式变为横向划分。而当卫星和地面输入图像都为全景图形式时，文章简化环形划分策略为更适合全景图信息提取的竖向划分形式。

▲ 不同划分策略

实验结果

1. 与基准及采用不同损失函数训练结果在 University-1652 数据集上的比较，文章的方法相比基准方法，具有明显的提升。

2. 文章提出方法在 CVUSA/CVACT 数据集上的表现。通过表格可以发现，现有方法加上文章提出的划分策略，定位精度达到了 SOTA。

3. 此外，文章中还提供了充足的消融实验，如特征划分块数的分析；测试时，query 图像旋转对检索精度的影响等实验。通过实验结果，进一步说明了文章提出方法的有效性和鲁棒性。

4. 文章方法与基准方法的热力图可视化，通过可视化热力图可以发现，文章提出的方法使网络学习到了更多的图像上下文特征。

5. 最后，文章给出一些定性结果的展示，左边为 query 图像，右边为在 gallery 中检索到的目标图像。

6. University-1652 数据集介绍：

https://zhuanlan.zhihu.com/p/110987552

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

???? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

???? 投稿邮箱：

• 投稿邮箱：[email protected] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。