Deep Reinforcement Learning Doesn't Work Yet

Deep Reinforcement Learning Doesn't Work Yet

强化学习目前的难点

1、Can Be Horribly Sample Inefficient
需要大量的历史经验来训练
2、Many Problems are Better Solved by Other Methods
领域的经典算法可能表现更好

recommendation system.png

3、Requires a Reward Function
reward的设计是一个问题，即使设计正确，算法结果可能沿着远离预期的方向进行
4、It May Just Be Overfitting to Weird Patterns In the Environment
模型没有可移植性，表现依赖于环境
5、 The Final Results Can be Unstable and Hard to Reproduce
算法结果难以复现，依赖于初始化的参数，以及训练过程

下一步研究趋势

1、add learning signal

1.png

2、 self-play 研究

self-play.png

3、model-based 提高sample efficiency

model-based.png

4、结合监督学习，强化学习作为调参过程

5.png

5、结合迁移学习

transfer learning.png

6、

good priors.png

---

本文遵守知识共享协议：署名-非商业性使用-相同方式共享 (BY-NC-SA)及协议
转载请注明：作者空空格格，首发 Jianshu.com