Reinforcement Learning4

coursera by University of Alberta

A Complete Reinforcement Learning System (Capstone)

前面有很多都是复习之前的知识点，直接跳到新的地方

1、 Meeting with Martha: In-depth on Experience Replay

在连续性的任务中，为了实现对与环境交互的样本数据的充分利用，像 Dyna 方法一样，提出了 Experience Replay 方法

提出的第一个方案是学习一个函数模型来模拟环境的输入输出，根据获得的环境样本利用模型对其学习，然后使用学习的函数模型来训练 RL agent ，此方法主要问题是误差太大

Experience Replay 主要思想是利用 buffer 来对与环境交互的 sample 进行存储， buffer 用新的 sample 逐渐取代旧的 sample

image.png

image.png

2、Martin Riedmiller on The 'Collect and Infer' framework for data-efficient RL

为了解决真实世界中与环境交互的数据是有限的问题，提出 Collect and Infer 方法，主要思想是充分利用真实世界的数据

image.png

image.png