【/强化学习7日打卡营-世界冠军带你从零实践/课程摘要和调参心得-No.5】连续动作空间上求解RL

一、学习内容

5.连续动作空间上求解RL

5.1连续动作空间

离散和连续动作跟环境有关：

可分别采用随机性策略和确定性策略：

实践中可分别用sample函数和tanh函数:

DDPG(Deep Deterministic Policy Gradient)的来源：

DDPG可看做DQN的扩展版本，添加了策略网络，使用了RL中的Actor-Critic架构

DQN有2条经验的：target网络，以及经验回放

DDPG里面也用了相同的方式来稳定训练，算法如下：

5.2DDPG代码与总结

DDPG的算法结构整体如下：

model文件中算法如下：

algorithm文件中算法如下：

1）critic网络更新：

2）actor网络更新：

2）target网络更新：

agent文件中算法如下（这里就不细说了，还是PARL的框架：））：

训练过程（以CartPole为例）：

DDPG的总结如下：

5.3大作业与创意赛环境

这里面主要展示一些RL常用的模拟环境，大家可以尝试一下：）

1）PARL中的四轴飞行器环境（收敛时间大概7-8小时）

2）电梯环境

3）简单弹跳和接球游戏

4）简单的游戏

5）机械臂、股票预测、飞行器等环境

6）机械臂环境

7）交通灯信号控制环境

最后，回顾下课程大纲：

给了个后续学习的推荐材料：