强化学习 | PPO论文小结

一些经典概念辨析

• 为什么PPO不能做经验回放

  DQN的几个contribution：1. 神经网络化 2. 提出了离线回放机制（结合重要性采样方法），提高了采样效率
  DDQN的contribution：解决了$\widetilde{V(s)}$预估偏高的问题，用target network去做决策（更准确），更新action network（期间target network冻住）

  reference : 知乎：如何直观理解PPO算法?[理论篇]
  因为PPO属于PG算法（同时也属于AC类算法，也是on-policy算法[虽然做了一点近似，有一点off-policy的成分在] ），会直接修改PG算法，所以每次更新完policy，之前离线采样下来的数据就跟现有的分布是不一样的；
  DQN属于value-based算法，它预估的是V(s)/Q(s,a)，这个和策略是无关的，每次更新，拿之前离线的数据去更新对应的Q(s’,a’)是完全合理的（就算是不同的策略，在同一个s下做了同一个a，影响其后续reward，也就是影响其对应Q(s,a)的是环境，跟策略无关。所以就算不同的环境，这些(s,a,s’,r)数据都是有效的）。

• 为什么AC类算法可以处理连续空间的问题，但是value-based的算法就不可以

• 可以用AC类算法输出的分布进一步离散化做离散空间的选择么？

• 重要性采样

• GAE

• 如何参考loss和reward去查看收敛性和调参？RL看loss还是reward
  http://www.deeprlhub.com/d/93/7
  dense reward, sparse reward

• AC类loss的思考
  https://blog.csdn.net/weixin_43145941/article/details/115342794