强化学习 | PPO论文小结

一些经典概念辨析

  • 为什么PPO不能做经验回放

    DQN的几个contribution:1. 神经网络化 2. 提出了离线回放机制(结合重要性采样方法),提高了采样效率
    DDQN的contribution:解决了 V ( s ) ~ \tilde{V(s)} V(s)~预估偏高的问题,用target network去做决策(更准确),更新action network(期间target network冻住)

    reference : 知乎:如何直观理解PPO算法?[理论篇]
    因为PPO属于PG算法(同时也属于AC类算法,也是on-policy算法[虽然做了一点近似,有一点off-policy的成分在] ),会直接修改PG算法,所以每次更新完policy,之前离线采样下来的数据就跟现有的分布是不一样的;
    DQN属于value-based算法,它预估的是V(s)/Q(s,a),这个和策略是无关的,每次更新,拿之前离线的数据去更新对应的Q(s’,a’)是完全合理的(就算是不同的策略,在同一个s下做了同一个a,影响其后续reward,也就是影响其对应Q(s,a)的是环境,跟策略无关。所以就算不同的环境,这些(s,a,s’,r)数据都是有效的)。

  • 为什么AC类算法可以处理连续空间的问题,但是value-based的算法就不可以

  • 可以用AC类算法输出的分布进一步离散化做离散空间的选择么?

  • 重要性采样

  • GAE

  • 如何参考loss和reward去查看收敛性和调参?RL看loss还是reward
    http://www.deeprlhub.com/d/93/7
    dense reward, sparse reward

  • AC类loss的思考
    https://blog.csdn.net/weixin_43145941/article/details/115342794

你可能感兴趣的:(强化学习)