【强化学习】中Q-learning,DQN等off-policy算法不需要重要性采样的原因

由于Q-learning采用的是off-policy，如下图所示

但是为什么不需要重要性采样。其实从上图算法中可以看到，动作状态值函数是采用1-step更新的，每一步更新的动作状态值函数的R都是执行本次A得到的，而我们更新的动作状态值函数就是本次执行的动作A的$Q(S,A)$。就算A不是通过$greedy$策略选择的（是通过$ϵ-greedy$采样得到），对$Q(S,A)$估计的更新也不会受到任何影响。因为对于下一个动作的选取是贪心的${\max }_{a}Q(s^{\prime },a)$。但是如果是n-step更新，则会出现问题
$$Q(s_t,a_t)=Q(s_t,a_t)+\alpha [R_t+\gamma R_{t+1}+{\gamma }^2\underset{a}{\max }Q(s_{t+2},a)-Q(s_t,a_t)]$$
如上式所示，还是利用off-policy采样，$R_t$的采样没有问题，但是$R_{t+1}$就会出问题，因为这一步的动作$a_{t+1}$是使用$ϵ-greedy$得到的，不是我们要优化的$greedy$策略。因此这种更新方法才需要添加重要性采样系数。如下面这个算法所示

这是因为，在1-step中，我们更新$(A_t,S_t)$状态动作对时，并不需要知道他是根据什么分布得来的。但是在n-step中，如果想利用$R_{t+1}$以后的信息时，我们就需要使用重要性采样来处理后序的动作。

另一种解释可以将最优贝尔曼公式写为如下所示
$$Q(s,a)=R(s,a)+\gamma \sum _{s^{\prime }}{P}_{s\to s^{\prime }}^a\underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })$$
其中$P_{s\to s^{\prime }}^a$为模型动力学的状态转移概率，第二项是计算最大动作状态值函数的期望。Q-learning不是使用状态转移概率来计算期望，而是使用采样逼近的方式。$P_{s\to s^{\prime }}^a$是根据环境的状态转移概率确定的，与策略的分布无关，因此当使用另一个策略分布进行采样时不需要用重要性采样。

DQN与DDQN等类似算法中off-policy是否使用重要性采样也可以使用上述方法判断。DQN的经验回放采用均匀采样的过程就是为了估计上式的第二项的期望。