DDPG-终态done对结果的影响探究

DDPG-终态done对结果的影响探究

前言：

pass

设置分类

首先发现了一个重要的问题，在gym中，如果不手动设置env.unwraped，那么它会封装不少信息，比如对于最大回合步数。在fetch系列的环境中，最大回合步数是50，且达到50的时候，会返回done=True,其余的done都是False。
这个点，是我在调HER算法的时候，一直没有注意到的。
我之前直接debug baselines的代码，发现他们的done是固定在step=50的时候出现，而不是完成目标任务出现。
我当时就觉得很怪异，和我认知中的done的含义不太一样啊。

接下来就是我自己的HER代码，一直复现不出来baselines的结果，我的HER的超参数都用的baselines的，但是总是卡在一个“局部最差”的位置。
问题很大，我找了好久都没发现原因，今天可能找到原因了。
对于这个unwarp这个点还是看莫烦的强化教程上学到的，没想到埋下了一个钉子…

1. spiningup： 在伪终态，回合最大步数返回的done，手动重置为False.强化算法中的q_target(s,a)=r+gamma(1-d)*q_target_net(s’,a’)
2. baselines: 都没处理done这个信息，虽然他的transition中有is_success这个值，但是强化算法中根本没有d！
   

记录一下不同的done的设置，在fetch-slide环境中测试的：
1.伪终态：回合最后一步设置为True，其他的为False。最终结果。忘做了。艹。
2.spinup: 回合最后一步设置为False，其他的都为本身(一般也是False)，算法中虽然有done，但是done都为False，结果和baselines应该是一样的。最后epoch成功率为0，avgQ1=-7.79，minQ1=-88.3, maxQ1=17.3。有点不明白，最大奖励为0，为什么Q能大于0？看了图，才知道，原来中间经历过这么多波折…正常情况下最大Q值仍然 是0，只有少数异常值才是超过0的，应该算历史遗留问题。

3.baselines：直接令done=False，效用和sp的一样。康康最后epoch结果：成功率为0，avgQ1=-7.79，minQ1=-65, maxQ1=20

以上都是没有收敛的情况，结果大伙儿都能看出来，结果都不好，虽然设置了三种done的形式，但最终的结果都是相似的。偏离目标的Q值基本上是-1/(1-0.98)的附近。

现在再测试一下其他的设置