读论文Model-Free Episodic Control

这篇论文是deepmind一篇论文，是基于外部存储的RL的方向，Demis Hassabis是作者之一。

强化学习近几年在很多领域取得了令人瞩目的成绩。但是强化学习需要很多样本训练才行，样本效率很低。相比来说，人类的学习效率高的多。这篇论文就是在这方面进行探索。也是从零开始快速的进行学习。

强化学习一般都是通过梯度更新的方式来收敛到我们需要的价值或者策略函数。Episodic control主要是一种能够快速重现发生过的高回报的动作的策略。它是通过记录高回报的经验然后重复这些经验获取高回报。

大脑中，这种快速学习的很可能是海马体和内侧颞叶有关的。海马体被认为是基于案例学习的，而不是像大脑前叶一样基于逻辑和推理的。海马体可能是根据动作的奖赏把对应的状态存储起来，后续根据实际的状态，把对应的处理动作找出来。

人类和动物的记忆和决策机构可以根据不同的需求进行对应的学习策略。如果能够获得一个准确的模型，而且有足够的记忆空间和时间，通过大脑前叶进行推理是最好的方式。而在没有资源和时间的时候，也需要能下意识的进行决策的系统。比如在没有很多经验的早期学习的情况下，在没有准确的模型情况下，model-free episodic control就是适用这种场景的决策系统。

如果利用DQN和A3C等方法解决日程的生活问题，这些算法目标是得到一个泛化的结果，因此需要更多的样本，采用也是比较慢速的梯度迭代学习，而在现实世界中的日常生活场景下，大脑不会使用这种专家式的学习机制而是更快的基于实例的the episodic controller model。这是一种非参数化表达的模式，通过记录和不断重演经验获取高回报值。简单的说，它就是一张不断成长的表。通过状态和动作进行索引，对比RL里面的价值函数，我们记作QEC(s, a). 每个条目记录对应一个状态的获取最高奖赏的动作。The episodic control 的策略 就是采用这张表里面记录的给定状态的动作.

在episode结束时, QEC 表按照下面的公式进行更新

其中Rt是折扣回报.

这个更新跟通常的强化学习的更新是不一样的，因为Q值是不会降低的，所以它不适用在随机环境中找到合理的动作的场景。

基于表的强化学习有两个问题：一是内存受限，需要解决数量巨多的状态空间问题。二是需要找到办法解决相似环境的问题。第一个问题可以通过替换掉最近访问最少的状态来保持表的限定大小。第二个问题可以通过状态之间距离的关系来解决，如果一个状态从来没有被记录过，可以通过k近邻的的状态的平均值来找到动作。评估的公式如下（k就是k近邻）：

Algorithm 1 描述了the model-free episodic control的基本过程。算法分成两步，第一步根据表里面的策略执行动作，完成一个完整的episode，记录每一步的奖赏。最关键的要把观察到的状态值映射成S。第二步就是通过后向演算来更新改进表里面的策略。有意思的是，这种后向更新可能是海马体的算法，但是到目前为止，我们还不知道怎么去验证。

The episodic controller 这种方法通用性差一点，更适用于在exploitation比exploration重要的，而且相对来说噪音比较少的环境。

论文中需要把观察到所有信息抽象出特征来表示一个状态，利用的是latent-variable probabilistic models中的Variational auto encoders(VAE)方法。这也是一个很牛的算法。主要是利用两个神经网络来完成编码和解码。具体的细节大家可以看一下相关的论文。

另外，关于距离的计算其实也是一个可以学习到的内容，这方面的内容后续的工作可能会考虑。

论文认为model-free episodic control和model-based episodic planning是跟人的大脑里面基于习惯和基于目标两种机制联系在一起的。到底启用那种机制取决于时间和资源。