Python-DQN和DDQN代码对比阅读-ddpn.py

DQN和DDQN都是三个文件,funcs.py、model.py和DQN.py或者DDQN.py。

两种算法的funcs.py、model.py文件完全一样,区别在第三个文件

目录

1.代码区别

1.1 定义ALGO变量来选择算法

1.2 使用if语句对两种算法做出选择

1.2.1 DQN

1.2.2 DDQN

2.问题


1.代码区别

1.1 定义ALGO变量来选择算法

GAME = "BreakoutDeterministic-v4" # "BreakoutDeterministic-v0"

# Atari Breakout actions: 0 (noop), 1 (fire), 2 (left) and 3 (right) 
VALID_ACTIONS = [0, 1, 2, 3]

ALGO = "DDQN" #"DQN"  # DDQN

这段代码定义了 Atari Breakout 游戏的名称和有效的动作列表:

GAME: 指定 Atari Breakout 游戏的环境名称,用于创建 Gym 环境对象。在这里可以选择不同的版本,例如 "BreakoutDeterministic-v4" 或 "BreakoutDeterministic-v0"。
VALID_ACTIONS: 定义了有效的动作列表,包含了可以在游戏中执行的动作的标识符。在 Atari Breakout 游戏中,有效的动作有 4 个,分别对应 "noop" (无操作), "fire" (发射球), "left" (向左移动板) 和 "right" (向右移动板)。

ALGO:定义一个变量ALGO,这个变量会存储DQN或者DDQN中的一个字符串通过这个变量来选择使用哪种算法。目的是为了可以方便使用哪种算法,而不删除DQN相关代码。

1.2 使用if语句对两种算法做出选择

                # calculate q values and targets 

                if (ALGO == 'DQN'): 

                   q_values_next = target_net.predict(sess, next_states_batch)
                   greedy_q = np.amax(q_values_next, axis=1) 
                   targets_batch = reward_batch + np.invert(done_batch).astype(np.float32) * gamma * greedy_q

                elif (ALGO == 'DDQN'):
                 
                   q_values_next = q_net.predict(sess, next_states_batch)
                   greedy_q = np.argmax(q_values_next, axis=1)
                   q_values_next_target = target_net.predict(sess, next_states_batch)
                   targets_batch = reward_batch + np.invert(done_batch).astype(np.float32) * gamma * q_values_next_target[np.arange(batch_size), greedy_q]

1.2.1 DQN

                # calculate q values and targets 

                if (ALGO == 'DQN'): 

                   q_values_next = target_net.predict(sess, next_states_batch)
                   greedy_q = np.amax(q_values_next, axis=1) 
                   targets_batch = reward_batch + np.invert(done_batch).astype(np.float32) * gamma * greedy_q

                

在这段代码中,在这段代码中,是实现了 DQN 算法中的 Q 值和目标值的计算。

首先通过 target_net.predict(sess, next_states_batch) 函数计算出下一状态的 Q 值。

然后,通过 np.amax(q_values_next, axis=1) 函数计算出在下一状态下的最大 Q 值,作为贪婪策略选择动作时使用的参考值。

最后,根据贝尔曼方程的定义,计算出目标值(target):targets_batch = reward_batch + np.invert(done_batch).astype(np.float32) * gamma * greedy_q

其中,reward_batch 是当前状态下的奖励值,done_batch 是一个布尔数组,表示是否达到终止状态,gamma 是折扣因子,greedy_q 是下一状态下的最大 Q 值。这段代码使用了贝尔曼方程的形式来更新目标值,从而用于计算损失函数,并进行神经网络的优化。

1.2.2 DDQN

代码总括

                # calculate q values and targets 

                elif (ALGO == 'DDQN'):
                 
                   q_values_next = q_net.predict(sess, next_states_batch)
                   greedy_q = np.argmax(q_values_next, axis=1)
                   q_values_next_target = target_net.predict(sess, next_states_batch)
                   targets_batch = reward_batch + np.invert(done_batch).astype(np.float32) * gamma * q_values_next_target[np.arange(batch_size), greedy_q]

在这段代码中,是实现了 DDQN(Double DQN)算法中的 Q 值和目标值的计算。

首先,通过 q_net.predict(sess, next_states_batch) 函数计算出下一状态的 Q 值。

然后,使用 np.argmax(q_values_next, axis=1) 函数找到在下一状态下具有最高 Q 值的动作,作为贪婪策略选择动作时使用的参考值。

接下来,通过 target_net.predict(sess, next_states_batch) 函数计算出下一状态的目标网络(Target Network)的 Q 值。这里使用了目标网络,是为了减小 DDQN 中的过估计(overestimation)现象。

最后,根据贝尔曼方程的定义,计算出目标值(target):

targets_batch = reward_batch + np.invert(done_batch).astype(np.float32) * gamma * q_values_next_target[np.arange(batch_size), greedy_q]

其中,reward_batch 是当前状态下的奖励值,done_batch 是一个布尔数组,表示是否达到终止状态,gamma 是折扣因子,q_values_next_target 是目标网络在下一状态下的 Q 值,greedy_q 是在下一状态下具有最高 Q 值的动作。这段代码使用了 DDQN 中的 Q 值和目标值计算方式,从而用于计算损失函数,并进行神经网络的优化。

代码分解

(1)q_values_next = q_net.predict(sess, next_states_batch)

q_values_next = q_net.predict(sess, next_states_batch)

这段代码中,使用了 q_net.predict(sess, next_states_batch) 函数来计算当前状态下的 Q 值。q_net 是 DDQN 算法中的 Q 网络(也称为本地网络),通过对输入的状态数据 next_states_batch 进行前向传播,得到当前状态下的 Q 值。

next_states_batch 是一个批次(batch)的状态数据,包含多个状态,其形状为 (batch_size, state_dim),其中 batch_size 是批次的大小,表示一次计算的状态数目,state_dim 是状态的维度。

q_net.predict() 函数的返回值是一个数组,表示对输入状态数据的 Q 值估计。其形状为 (batch_size, num_actions),其中 num_actions 是动作的数目,表示当前状态下可以选择的动作数目。

在DDQN 算法中,Q 网络的输出是对当前状态下所有可能动作的 Q 值估计,用于选择当前状态下的最优动作。这个 Q 值估计将在后续的计算中用于计算目标值、选择动作以及进行损失函数的计算和网络优化。

(2)greedy_q = np.argmax(q_values_next, axis=1)

greedy_q = np.argmax(q_values_next, axis=1)

这段代码中,使用了 np.argmax(q_values_next, axis=1) 函数来选择当前状态下的最优动作。

q_values_next 是通过 Q 网络(q_net)对下一状态(next_states_batch)进行前向传播得到的 Q 值估计。q_values_next 是一个数组,其形状为 (batch_size, num_actions),其中 batch_size 是批次的大小,表示一次计算的状态数目,num_actions 是动作的数目,表示当前状态下可以选择的动作数目。

np.argmax(q_values_next, axis=1) 函数会在每一行(即对每个状态)中选择具有最大值的动作的索引,即对每个状态选择对应的最优动作。这个索引值存储在 greedy_q 变量中,其形状为 (batch_size,),表示每个状态下的最优动作索引

在 DDQN 算法中,选择最优动作的方式可以是采用贪婪策略,即选择具有最大 Q 值估计的动作。这个最优动作将在后续的计算中用于计算目标值、更新网络参数等。

(3)q_values_next_target = target_net.predict(sess, next_states_batch)

q_values_next_target = target_net.predict(sess, next_states_batch)

这段代码中,使用了 target_net 来对下一状态 (next_states_batch) 进行前向传播,从而得到目标网络中对应的 Q 值估计 q_values_next_target

target_net 是一个目标网络,用于计算目标 Q 值。在 DDQN 算法中,目标网络是一个固定的网络,用于计算目标 Q 值,其参数不会在训练过程中更新,而是定期从主网络(也称为 Q 网络或者行动者网络)中复制得到。这样可以提高训练的稳定性。

q_values_next_target 是通过目标网络 target_net 对下一状态 next_states_batch 进行前向传播得到的 Q 值估计。q_values_next_target 是一个数组,其形状为 (batch_size, num_actions),其中 batch_size 是批次的大小,表示一次计算的状态数目,num_actions 是动作的数目,表示当前状态下可以选择的动作数目。

在 DDQN 算法中,使用目标网络的 Q 值估计作为计算目标值的基础,从而更新主网络的参数,从而实现训练过程中的优化。

(4)targets_batch = reward_batch + np.invert(done_batch).astype(np.float32) * gamma * q_values_next_target[np.arange(batch_size), greedy_q]

targets_batch = reward_batch + np.invert(done_batch).astype(np.float32) * gamma * q_values_next_target[np.arange(batch_size), greedy_q]

这段代码计算了更新目标值 targets_batch,用于在训练过程中更新主网络的参数。

reward_batch 是从环境中获取的奖励值,done_batch 是一个布尔值数组,表示在当前状态下是否已经结束了一个回合(即终止状态),gamma 是折扣因子,用于控制对未来奖励的权重,q_values_next_target 是目标网络对下一状态的 Q 值估计,greedy_q 是在下一状态下选择的最优动作的索引。

np.invert(done_batch).astype(np.float32)done_batch 取反并转换为浮点型,这样在更新目标值时可以保留终止状态的信息。np.arange(batch_size) 是一个数组,表示从 0 到 batch_size-1 的整数序列,用于在 q_values_next_target 中选择对应的 Q 值估计。

最终,targets_batch 的计算方式为将当前回合的奖励值 reward_batch 加上未终止状态的下一状态的最优动作的 Q 值估计 q_values_next_target 乘以折扣因子 gamma,从而得到更新目标值。这个目标值将用于计算主网络的损失函数,并通过反向传播更新主网络的参数,从而实现 DDQN 算法的训练。

2.问题

(1)为什么DQN算法使用 np.amax(),DDQN算法使用np.argmax(),二者的区别和联系?

np.amax()np.argmax() 都是 NumPy 库中的函数,用于在数组中找到最大值对应的索引

二者的区别在于返回值的形式和用途:

  • np.amax(arr, axis=None, keepdims=False) 返回数组 arr 中的最大值,可以指定沿某个轴(axis 参数)计算最大值。如果 keepdims 参数为 True,则保持结果的维度和输入数组一致,否则将降维。

  • np.argmax(arr, axis=None) 返回数组 arr 中最大值的索引,可以指定沿某个轴(axis 参数)计算最大值的索引。

在 DQN 算法中,使用 np.amax() 是因为它用于计算下一状态的最大 Q 值估计,即在下一状态下选择最优动作的 Q 值。这里需要返回最大值本身,因此使用 np.amax()

而在 DDQN 算法中,使用 np.argmax() 是因为它用于选择在下一状态下选择的最优动作的索引,即在下一状态下选择具有最大 Q 值的动作的索引。这里需要返回最大值的索引,因此使用 np.argmax()

需要注意的是,DQN 和 DDQN 算法是 Q 学习的两种变种,其中 DDQN 对 DQN 进行了一定的改进,解决了 DQN 算法中过高估计 Q 值的问题。因此在 DDQN 算法中,使用 np.argmax() 来选择动作的索引,而不是直接选择最大 Q 值。

(2)done_batch是怎么可以保留终止状态信息的

在强化学习中,done_batch 是一个布尔型数组,用于表示每个样本是否到达了终止状态。通常情况下,当一个智能体在环境中执行一个动作后,会观察到下一个状态和获得一个奖励信号。在某些情况下,执行的动作可能导致智能体到达了环境的终止状态,例如游戏结束或任务完成。done_batch 用于记录这些终止状态的信息。

在训练深度 Q 网络(DQN)和双重深度 Q 网络(DDQN)时,done_batch 的值可以从环境中获得,通常通过调用环境的 step() 函数获取下一个状态、奖励和终止状态信息。具体而言,当智能体执行一个动作并观察到下一个状态时,可以通过检查返回的终止状态信息来更新 done_batch。例如,done_batch 的对应样本为 True 时,表示智能体在该样本中的动作导致了终止状态,需要相应地处理。

在 DQN 和 DDQN 算法中,done_batch 主要用于控制目标 Q 值的计算当一个样本处于终止状态时,其目标 Q 值应该只包含当前状态下的立即奖励,而不包含下一状态的 Q 值估计。因此,np.invert(done_batch) 的作用是将 done_batch 中的 True 和 False 取反,以保留终止状态信息,并根据其值对目标 Q 值进行相应的调整。

(3)如何判断done_batch是true还是false?

在一般的强化学习环境中,done_batch 的取值通常由环境的状态信息决定。当智能体在执行一个动作后观察到环境的下一个状态时,可以通过检查这个状态来判断 done_batch 是否为 True 或 False。

在 OpenAI Gym 等常用的强化学习环境中,通常通过调用环境的 step() 函数获取下一个状态、奖励和终止状态信息。step() 函数的返回值通常包括三个元素:next_state 表示下一个状态,reward 表示在当前状态下执行的动作的即时奖励,done 表示当前状态是否为终止状态。例如,可以使用以下方式获取 done_batch

next_states, rewards, dones, _ = env.step(actions)
done_batch = np.array(dones, dtype=np.bool)

其中,actions 是智能体选择的动作,env 是环境对象,next_states 是下一个状态的数组,rewards 是即时奖励的数组,dones 是终止状态的数组。根据具体环境和问题的设置,done_batch 中的元素将根据终止状态的情况被设置为 True 或 False。

需要注意的是,不同的环境可能对终止状态的定义和表示方式有所不同,因此具体的实现方式可能会有所不同。在使用 done_batch 时,应根据环境的具体规定和要解决的问题进行相应的处理。

(4)DQN和DDQN算法的相同点和不同点?各自的优点和缺点?

DQN(Deep Q-Network)和DDQN(Double Deep Q-Network)是两种常用的强化学习算法,都是基于Q-learning的方法,用于解决离散动作空间的强化学习问题。

它们在一些方面有相同点,也有一些不同点,下面是它们的主要相同点和不同点以及各自的优点和缺点。

相同点:

①基于Q-learning:DQN和DDQN都是基于Q-learning算法的变种,使用了Q值函数来表示动作的价值。

②使用深度神经网络:DQN和DDQN都使用了深度神经网络来近似Q值函数,可以处理高维状态空间的问题。

③经验回放:DQN和DDQN都使用了经验回放(Experience Replay)技术,将智能体的经验存储在经验缓存中,并从中随机采样进行训练,可以提高样本的利用效率和稳定性。

不同点:

①目标网络更新方式:DDQN使用了目标网络(Target Network)来稳定训练过程,目标网络的更新方式是定期将主网络(Q网络)的参数复制给目标网络,而DQN则直接使用主网络的输出作为目标Q值。这是DDQN相对于DQN的一个改进,可以减轻DQN中因过度估计(overestimation)而导致的训练不稳定问题。

②动作选择方式:在计算目标Q值时,DDQN使用了贪心策略来选择下一个动作,即选择在当前状态下具有最大Q值的动作,而DQN则使用了在下一个状态下具有最大Q值的动作。这也是DDQN相对于DQN的一个改进,可以减轻DQN中因过度估计而导致的训练不稳定问题。

优点:

①强大的近似能力:DQN和DDQN都使用深度神经网络来近似Q值函数,可以处理高维状态空间的问题,具有强大的近似能力。

②经验回放:DQN和DDQN都使用了经验回放技术,可以提高样本的利用效率和稳定性,减轻样本间的关联性。

③可扩展性:DQN和DDQN可以扩展到复杂的问题,并且可以通过调整网络结构和超参数进行优化。

缺点:

①训练不稳定:DQN和DDQN在训练过程中可能会面临训练不稳定的问题,包括过度估计和过度探索等。

②高计算复杂度:DQN和DDQN使用了深度神经网络,需要大量的计算。

你可能感兴趣的:(深度强化学习,TensorFlow,Python,python,深度学习,强化学习,深度强化学习,人工智能)