奇怪的知识增加了！声呐图像的成像原理及目标检测baseline

最近，我们举办了一个水下目标检测算法赛（声学图像赛项）

声学好懂，那啥叫声学图像？刚看到数据集的图片，我也是懵的

 

唯一的感觉是“金色的，怪好看的”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”

 

刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。

 

先看这两张图

第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）

 

第二张是一张声呐图像，显示的是海底的一辆自行车。

其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。

基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。

 

有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。

你看这就是辆小汽车

 

这就是人工堤坝和沙坡

 

再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。

下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。

仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）

而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。

 

大致就是这么个意思，你品，你细品。

 

还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区

https://www.bilibili.com/video/av94379383/?redirectFrom=h5

https://www.kesci.com/home/competition/forumlist/5e532ac62537a0002ca859a6

 

有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？

你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。

 

讲完图像之后，我们再来讲讲题该怎么做

 

办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。

 

举个例子：

WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 

老师给的论文中，使用的方法为CNN/FCN

 

其中Faster R-CNN发表于NIPS' 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。

 

另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：

“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”

 

以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）

 

要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？

 

最后，要进行我们的传统项目，也是大家最最最期待的环节：

 

官方baseline公布

使用Google Object Detection 完成水下目标检测

https://www.kesci.com/home/project/5e6331644b7a30002c98895e

项目优雅介绍了baseline的使用全流程，欢迎大家试用

 

什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。

懒人版声学 Baseline

https://www.kesci.com/home/project/5e69d767ae2d090037791205/code

某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了

运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
...

 

有了它，三行代码，你就可以交上作业了，真是妙啊

 

再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。

 

你不算我不算，声呐图像怎么办？

你参赛我参赛，海底世界任我探！

 

期待在排行榜上看到各位的大名。以上。

 

1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.

2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738