论文笔记-Deteministic Policy Gradient Algorithms

Deteministic Policy Gradient Algorithms

论文干货

论文论证了确定性策略明显优于随机性策略在高维动作空间问题中。
策略梯度算法广泛运用在深度强化学习中的连续控制领域。

策略梯度算法的主要意思是用参数概率分布${\pi }_{\theta }(a|s)=P[a|s;\theta ]$来表示策略，表示在状态s中随机选择动作a在参数向量$\theta$中。

策略梯度算法通常通过对这种随机策略进行抽样，并根据累积回报的增大调整策略参数。

随机策略是整合状态空间与动作空间，而确定性策略整合状态空间，故随机策略需要更多的数据集特别是在动作空间是高维的情况下。

但是为了探索所有的状态与动作空间，我们仍然需要随机策略。我们通过随机策略选择动作，但是通过确定策略更新参数。

同时噪音对随机策略的选择有影响，而确定性问题则可以克服这一问题。

on-policy与off-policy

on-policy :生成样本的policy（value function）跟网络更新参数时使用的policy（value function）相同。典型为SARAS算法，基于当前的policy直接执行一次动作选择，然后用这个样本更新当前的policy，因此生成样本的policy和学习时的policy相同，算法为on-policy算法。该方法会遭遇探索-利用的矛盾，光利用目前已知的最优选择，可能学不到最优解，收敛到局部最优，而加入探索又降低了学习效率。epsilon-greedy 算法是这种矛盾下的折衷。优点是直接了当，速度快，劣势是不一定找到最优策略。

off-policy：生成样本的policy（value function）跟网络更新参数时使用的policy（value function）不同。典型为Q-learning算法，计算下一状态的预期收益时使用了max操作，直接选择最优动作，而当前policy并不一定能选择到最优动作，因此这里生成样本的policy和学习时的policy不同，为off-policy算法。先产生某概率分布下的大量行为数据（behavior policy），意在探索。从这些偏离（off）最优策略的数据中寻求target policy。当然这么做是需要满足数学条件的：假設π是目标策略, µ是行为策略，那么从µ学到π的条件是：π(a|s) > 0 必然有 µ(a|s) > 0成立。两种学习策略的关系是：on-policy是off-policy 的特殊情形，其target policy 和behavior policy是一个。劣势是曲折，收敛慢，但优势是更为强大和通用。其强大是因为它确保了数据全面性，所有行为都能覆盖。

我的理解是在线学习是我在计算下一步期望预期的动作是否是我下一步一定采取的动作，例如在sarsa算法中会用$ϵ-greedy$计算出下一步的动作，并根据这一步的收益乘以$\gamma$进行值函数更新，并且将下一步一定会采取该动作。而在Q-learning中，是由$\gamma ma{x}_{\alpha }Q(S^{{}^{\prime }},\alpha )$进行更新，但是下一步不一定会采取该策略进行采取动作。而且在记忆回放机制中必须采用离线学习