DQN（Deep Q-Network）

Hi，这是第一篇算法简介呀

论文链接: “Human-level control through deep reinforcement learning”，2013.

文章概述

  本文首次提出了一种深度学习模型，利用强化学习的方法，直接从高维的感知输入中学习控制策略。
  DL算法需要大量手工标记数据，而RL中从输入到获得reward信号存在稀疏、有噪声和延迟的问题。DL算法假设data是独立的；而在RL中data的关联度较高，改变数据分布后，RL可以学习到新行为。
  本文提出的模型可以克服以上挑战。该网络使用Q-learning的变体，采用随机梯度下降法更新weights，使用经验回放机制解决数据相关性问题和非平稳分布问题。

• replay memory
  存储每个时间步$t$的agent的经验 $e_t=(s_t,a_t,r_t,s_{t+1})$。每步经验可以用于多次weights更新，提高数据利用效率。
• 网络结构设计
  
  （我理解的简图）

input:raw pixels

16个filters:非线性变换

32个filters

全连接层

output:每个action对应的Q-value

  （p.s.每个可能的action对应一个独立的output unit）

• Target网络
  用于固定参数。每隔一定episode与Main网络同步权重。

公式理解

• 未来折扣回报
  $$R_t=\sum _{t^{\prime }=t}^T{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}$$ $R_t$是$t$时刻获得的未来折扣reward，$T$是游戏结束时的时间步。
• 最优动作值函数
  $$Q^{\ast }(s,a)=ma{x}_{\pi }\mathbb{E}[R_t|s_t=s,a_t=a,\pi ]$$ $\pi$是observation映射到action的策略，即action的分布。
• 优化目标：最小化损失函数
  • 损失函数
    $$L_i\left({\theta }_i\right)={\mathbb{E}}_{s,a\sim \rho (\cdot )}\left[{\left(y_i-Q\left(s,a;{\theta }_i\right)\right)}^2\right]$$其中，$y_i={\mathbb{E}}_{s^{\prime }\sim \mathcal{E}}\left[r+\gamma {\max }_{a^{\prime }}Q\left(s^{\prime },a^{\prime };{\theta }_{i-1}\right)|s,a\right]$是第$i$次迭代的目标，即真实值，通过Target网络获得；$Q\left(s,a;{\theta }_i\right)$是预测值，通过Main网络获得。
  • 计算梯度（对 $\theta$ 求偏导，复合函数求导）
    $${\nabla }_{{\theta }_i}{L}_i\left({\theta }_i\right)={\mathbb{E}}_{s,a\sim \rho (\cdot );s^{\prime }\sim \mathcal{E}}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q\left(s^{\prime },a^{\prime };{\theta }_{i-1}\right)-Q\left(s,a;{\theta }_i\right)\right){\nabla }_{{\theta }_i}Q\left(s,a;{\theta }_i\right)\right]$$其中，${\theta }_{i-1}$为之前固定的参数；$r$为在状态s执行动作a后的reward，是已知值。

伪代码分析

  for循环：根据输入，选择action；计算reward和下个state；存储进经验池；随机抽取minibatch个样本更新$\theta$。
  $y_j$需要根据${\varphi }_j+1$是否为终止状态，考虑未来折扣reward。
  $y_j$相当于真实值，$Q({\varphi }_j,a_j;\theta )$相当于预测值。

实验结果分析

  分别在游戏Breakout和Seaquest上进行测试，指标为Average Reward和Average Q。

代码实现

github传送门：https://github.com/devsisters/DQN-tensorflow.