Active Visual Information Gathering for Vision-Language Navigation

之前的方法是不确定的（现在也有好多方法也是），也就是说，对于未知环境，agent不知道具体应该往哪走，事实上即使是人类也不知道，但是人们可以去试，获取更多的环境信息然后决定正确的导航行为。
这是我目前最欣赏的VLN论文之一

Vision-Language Navigation)

摘要： 视觉语言导航（VLN）是一项任务，要求代理在照片逼真的环境中执行导航指令。VLN中的一个关键挑战是如何通过减轻指令模糊和对环境观察不足造成的不确定性来进行稳健导航。通过当前方法训练的代理通常会遭受这种情况，因此在每一步都会努力避免随机和低效的操作。相反，当人类面临这样的挑战时，他们仍然可以通过积极探索周围环境来收集更多信息，从而做出更自信的导航决策，从而保持稳健的导航。这项工作从人类的导航行为中获得灵感，并赋予代理主动的信息收集能力，以实现更智能的视觉语言导航策略。为了实现这一点，
我们提出了一个学习探测策略的端到端框架，该框架决定i）何时何地探测，ii）在探测期间哪些信息值得收集，以及iii）探测后如何调整导航决策。实验结果表明，训练中出现了很有前途的探索策略，从而显著提高了导航性能。在R2R挑战排行榜上，我们的代理人在所有三种VLN设置（即单次运行、预探索和波束搜索）中都获得了令人满意的结果。

当遵循指令时，由于当前有限的视觉感知、指令中不可避免的模糊性以及环境的复杂性，人类并不期望每一步都是“完美”的导航决策。相反，当我们对未来的步骤不确定时，我们倾向于先探索周围的环境，收集更多的信息来缓解歧义，然后做出更明智的决定。因此，我们的核心理念是为代理人配备这种积极的探索/学习能力。

为了便于理解，我们从一个带有最简单探索功能的天真模型开始（§3.1）。然后，我们完成了§3.2和§3.3中的初始模型，并展示了学习到的主动勘探政策如何大大提高导航性能。

A Naive Model with A Simple Exploration Ability

• 每个step中，浏览所有可导航视图，然后从某个方向开始探测，收集这个方向的导航视图后返回原始的导航位置，类似地遍历所有的可导航位置并收集视觉信息。

假设在 $t^{th}$ step ,有K个可导航点，每个导航点又有$K^{{}^{\prime }}$个导航视图，表示为${\mathbf{O}}_{t,k}=\{{\mathbf{o}}_{t,k,1},{\mathbf{o}}_{t,k,2},\dots ,{\mathbf{o}}_{t,k,K^{{}^{\prime }}}\}$,

按照惯例，这个动态导航过程是以recurrent形式表示的

agent通过注意力操作收集视觉信息

用${\hat{\mathbf{o}}}_{t,k}$更新每个可导航视图的视觉表示，

$v_{t,k}$之前可能只是一张图片，更新后就会包括这个节点（t,k）能探索的视觉内容。
至此，完成one-step探测，然后做出$k^{th}$导航行为的预测：

这种naive的想法显然能够有效提高准确率，但是也导致了Trajectory Length (TL）过长。

Where to Explore

上面的navie的方法，更新后的${\hat{v}}_{t,k}$太复杂，作者通过下面的方法探索（筛选）一个最valuable的方向去探索，而不是探索所有方向。

但是我觉得这违反它的本意了，因为筛选的时候没有探索$k^{th}$导航点的内容，而是原本在t点就能观察到的图。（举个栗子，在原本的位置上有两个门agent可以选择，原来的naive方法是分别进入这两个门看看，然后选择，人类也是这样做的。现在就变成了没有进门里面看，直接看门哪个更像自己要走的路.）
但是作者又说，这样不仅降低了轨迹长度，甚至还因为agent关注所谓的最valuable的方向，提高了成功率。我认为能提高的原因在于筛选了（进行了公式6），实际上我们可以将这一步改进：筛选的时候使用naive的方法，然后预测的时候还是公式7，这样筛选的才可能是更有价值的。（好吧，我大意了，后面有更深层的学习）

Deeper Exploration

前面的探测只能够探测当前的位置的相邻导航视图，而大多的必要情况，我们可能需要更深度地多探测几步。

作者设计了一个基于循环网络的探测模块，在探索步骤s，从$K^{{}^{\prime }}$处收集信息 ${\mathbf{Y}}_{t,k,s}=\{{\mathbf{y}}_{t,k,s,1},{\mathbf{y}}_{t,k,s,1},\dots ,{\mathbf{y}}_{t,k,s,1},\}$ .因此 ${\mathbf{Y}}_{t,k,0}={\mathbf{V}}_t$, ${\mathbf{O}}_{t,k}={\mathbf{Y}}_{t,k,1}$。也就是说，s=0是在t步能够看到的可导航节点（深度第一层，把当前位置看为第0层的话，同理，s=1表示第二层深度），

• Knowledge Collection During Exploration

代理通过注意力机制主动收集周围环境信息${\mathbf{Y}}_s$:

${\hat{y}}_s=att({\mathbf{Y}}_s,{\mathbf{h}}_v^{ep})$,

回顾一下，其中$h_t^{ep}=LSTM([\mathbf{X},{\mathbf{V}}_{\mathbf{t}-1},{\mathbf{a}}_{t-1}^{ep}],{\mathbf{h}}_{t-1}^{ep})$

• Knowledge Storage During Exploration:

学习到的视觉知识 ${\hat{\mathbf{y}}}_s$ 存储在记忆网络中： ${\mathbf{h}}_s^{kw}=LST{M}^{kw}({\hat{\mathbf{y}}}_s,{\mathbf{h}}_{s-1}^{kw})$ 用来支持做出导航决策

• Sequential Exploration-Decision Making for Multi-Step Exploration:

接下来，代理人需要决定是否选择新的方向进行进一步探索。
在探索动作空间中，代理人从当前K0可到达的视图中选择一个方向进行探索，或者停止当前探索情节并返回第t个导航步骤的原始位置。

${\mathbf{Y}}_s=\{{\mathbf{y}}_{s,1},{\mathbf{y}}_{s,2},\dots ,{\mathbf{y}}_{s,K^{{}^{\prime }}}\}$, stop编码为 ${\mathbf{y}}_{s,K^{{}^{\prime }}+1}=0$. $\mathbf{y}_{s,K^{'}} $也就是第s-1层的第$K^{{}^{\prime }}$个导航点的环境信息。

当前的探索状态 ${\mathbf{h}}_s^{ep}=LST{M}^{ep}([{\mathbf{h}}_t^{nv},{\mathbf{Y}}_{s-1},{\mathbf{a}}_{s-1}^{ep}],{\mathbf{h}}_{s-1}^{ep})$

对于第$k^{{}^{\prime }th}$个探索动作候选（可到达的view），其概率为

• Multi-Round Exploration-Decision Making for Multi-Direction Exploration:

S步之后，当agent认为在某个方向k收集足够的信息时，应stop。 回到第t个导航step的起点，更新第k个方向上的视觉知识：

然后做出第二轮的探索决定，

$k^u$表示还没选择的探索动作,新的一轮将在另一个方向上探索直到选择 $stop$

• Exploration-Assisted Navigation-Decision Making:

经过多轮多步探索，利用关于周围环境的最新知识~Vt，代理做出更可靠的导航决策（等式5）：$p_{t,k}^{nv}=softma{x}_k({\hat{\mathbf{v}}}_{t,k}^T{\mathbf{W}}^{nv}{\mathbf{h}}_t^{nv})$。

然后，在第（t+1）个导航步骤，代理在多个方向上进行多步探索（甚至可以省略探索），然后选择新的导航动作

• Memory based Late Action-Taking Strategy:

在完成朝向某个方向的探索后，如果直接“返回”起始位置并进行下一轮探索/导航，可能会导致大量的重访。为了缓解这种情况，我们让代理将探索期间访问的视图存储在外部存储器中。然后，代理人遵循后期行动策略，即只有在必要时才行动。当特工决定停止对某个方向的探索时，他会停留在当前位置，“想象”他接下来的行动的执行，而不会真的回去。当他需要访问一个未存储在内存中的新点时，他将直接访问该点并相应地更新内存。然后，再次保持职位，直到他需要访问一个以前没有遇到的新点.

Training

Imitation Learning (IL)

Reinforcement Learning (RL)

Curriculum Learning for Multi-Step Exploration

Back Translation Based Training Data Augmentation

实验

仅R2R数据集上的结果