DRL基础(十二)——近端策略优化算法PPO【附代码】

主要内容

  • 讲解PPO提出的背景
  • 讲解PPO算法的理论和技巧
  • 基于Pytorch实现PPO算法,并用于解决gym环境中乒乓球游戏(Pong)
  • PPO完整代码下载链接见文末

文章目录

  • 1 REINFORCE存在的问题
  • 2 重要性采样
  • 3 代理目标函数及其裁剪
  • 4 使用优势函数评价动作
  • 5 实现代码


2016年10月OpenAI公司发布了《Dota2》强化学习游戏智能体OpenAI Five,并且经过多年的开发训练后战胜了当时的世界冠军团队OG,技术细节可以看发表的论文。OpenAI Five的核心算法是PPO,一种称为近端策略优化的算法,属于策略梯度算法的一种。OpenAI Five和PPO的成功大大增加了AI研究者对强化学习解决复杂问题的信心,PPO也成为使用强化学习解决各类问题的一个基准算法。

1 REINFORCE存在的问题

PPO属于策略梯度算法,即通过求解

你可能感兴趣的:(机器学习,人工智能,PPO,强化学习,策略梯度)