【复现论文】Looking here or there? Gaze Following in 360-Degree Images

【复现论文】Looking here or there? Gaze Following in 360-Degree Images

论文：Looking here or there? Gaze Following in 360-Degree Images

论文链接：Looking here or there? Gaze Following in 360-Degree Images

复现github链接：Rao2000/gazefollow360: The paper “Looking here or there? Gaze Following in 360-Degree Images” implementing with Pytorch (github.com)

知乎链接: link

掘金链接:link

1.论文主要内容

在本文中，研究了一项新任务，即 360 度图像中的视线方向，并为这项新任务收集了一个新的大规模数据集“GazeFollow360”。论文指出这项新任务的主要挑战是由于 360 度图像中球体到平面投影引起的失真，人类受试者的注视目标和他/她的视线之间的不匹配。为了解决这个问题，我们提出了一个双路径框架，该框架由在 3D 球体空间中建模的视线引导，而不是简单地在 2D 图像平面坐标中，以检测局部区域（此处）和远处区域（那里）内的注视目标平行。论文的框架在GazeFollow360上的强大性能验证了它在理解真实3D世界中视线行为方面的潜力。

主要贡献可以分为三个部分：

（1）第一份在360展开图上研究gaze following的工作

（2） 建立了一个10058张图片的数据集

（3）提出了一个双支路的框架解决360场景下的gaze following

2.复现工作

在发邮箱给论文一作，询问其是否开源代码无果后，尝试根据论文的信息去复现代码。

我简单的复现了一下论文，得到双支路模型在test dataset的实验结果

论文中的实验结果：

	AUC	sphere dist
test dataset	0.9350	0.6067

我复现的实验结果：

	pixel dist	norm dist	AUC	sphere dist
test dataset	443.5346	0.1584	0.8673	0.6157

容易看出，我复现的实验结果是比论文实验结果更差的，但是在同一个量级上。同时，在其他公开模型方法上，比如论文Detecting Attended Visual Targets in Video，也很难复现出论文的实验结果。

3.期望

最后欢迎大家指正我的复现结果，也期待官方早点开源吧。