A Distributional Perspective on Reinforcement Learning

传统的强化学习算法例如Q-learning算法学习的是state-action值函数，而这篇文章的核心是学习state-action的概率分布。

具体各简单的例子：例如我们在上班是需要经过6站地铁，每站地铁平均需要5分钟，则上上班需要30分钟。如果每个星期（5天），地铁都会出毛病，则就需要耽误耽搁一个小时。正常情况下上班的时间期望，也就是均值是30分钟，在火车出现故障的情况下，则每天的上班时间期望为30+60/5=42。42表示一周5天之内上班的平均期望值，也就是使用state-action的状态值函数时得到的结果。

• 如果在正常情况下，使用state-action值函数会导致overestimates 
• 在出现故障的情况下，会导致underestimates 

基于上述问题，本文将状态值函数改变为状态值的分布函数。

https://flyyufelix.github.io/2017/10/24/distributional-bellman.html