【深度强化学习】深度Q网络DQN

[深度强化学习]DQN

DQN是将深度学习和强化学习结合起来而实现从感知到动作的端对端的全新算法。
深度Q学习的核心就是用一个人工神经网络q ( s , a ; θ ) , s ∈ S , a ∈ A来代替动作价值函数。

DQN的算法流程：

Q-leaning和DQN的区别

与Q-Learning相比，DQN主要改进在以下三个方面：
（1）DQN利用深度卷积网络(Convolutional Neural Networks,CNN)来逼近值函数；
（2）DQN利用经验回放训练强化学习的学习过程；
（3）DQN独立设置了目标网络来单独处理时序差分中的偏差。

• 经验回放（experience replay）：将经验（即历史的状态、动作、奖励等）存储起来，再在存储的经验中按一定的规则采样。
• 目标网络（target network）：修改网络的更新方式，例如不把刚学习到的网络权重马上用于后续的自益过程。