深度强化学习中DDPG算法

深度强化学习总的来说都是以强化学习为骨架,用神经网络代替耗内存很高的组件,加速计算。

DDPG算法是的Actor-Critic算法和神经网络的集合,就是actor部分和critic部分都用神经网络来表示。

重要的是两个神经网络怎么优化。

actor部分(就是策略函数):a = π (s,u)
critic部分(就是Q函数): Q(s,a,w)
怎么求策略梯度呢?策略梯度就是Q对u 的梯度,先Q对a求导,然后a对u求导;
求critic部分的梯度就很简单了,target Q值是清楚的,直接对求梯度即可,和Double DQN一样,采用分离的w 和 w_防止震荡。

你可能感兴趣的:(机器学习,深度强化学习,算法)