Python-DQN代码阅读(11)

1.代码

1.1代码阅读

tf.compat.v1.reset_default_graph()  # 重置 TensorFlow 的默认计算图

# Q 和 target 网络
q_net = QNetwork(scope="q", VALID_ACTIONS=VALID_ACTIONS)  # 创建 Q 网络
target_net = QNetwork(scope="target_q", VALID_ACTIONS=VALID_ACTIONS)  # 创建 target 网络

# 状态处理器
state_processor = ImageProcess()  # 创建状态处理器，用于处理状态数据

# TensorFlow 模型保存器
saver = tf.train.Saver()  # 创建用于保存和恢复 TensorFlow 模型的 saver 对象

1.2代码分解

1.2.1 scope="q"，scope="target_q"

scope 参数在这里用于指定 TensorFlow 变量的命名空间，它在创建 Q 网络和 target 网络时被用于定义变量的名称前缀，从而确保不同网络中的变量具有唯一的名称。

例如，scope="q" 指定了 Q 网络的变量名称前缀为 "q"，而 scope="target_q" 则指定了 target 网络的变量名称前缀为 "target_q"。这样，当两个网络共享一些变量时，可以通过不同的名称前缀来区分它们，避免命名冲突。

1.2.2 q_net = QNetwork(scope="q", VALID_ACTIONS=VALID_ACTIONS)

q_net = QNetwork(scope="q", VALID_ACTIONS=VALID_ACTIONS)

这行代码创建了一个 QNetwork 类的实例对象 q_net，并传入了两个参数：

1. scope="q"：这是一个字符串参数，用于为 TensorFlow 变量指定命名空间。在 QNetwork 类的内部，所有的 TensorFlow 变量都会根据这个命名空间前缀进行命名，确保变量名称的唯一性。

2. VALID_ACTIONS=VALID_ACTIONS：这是一个用于指定有效动作的参数。VALID_ACTIONS 是一个包含所有有效动作的列表或数组，用于定义 Q 网络的输出层的大小。在 QNetwork 类的内部，输出层的大小将根据这个参数来设置，以匹配环境中的有效动作的数量。

通过传入这些参数，q_net 对象就被初始化为一个具有特定命名空间和输出层大小的 Q 网络。在后续的代码中，可以通过 q_net 对象调用 Q 网络的方法，如 q_net.predict() 和 q_net.update()，来进行网络的预测和更新操作。

1.2.3 target_net = QNetwork(scope="target_q", VALID_ACTIONS=VALID_ACTIONS)

target_net = QNetwork(scope="target_q", VALID_ACTIONS=VALID_ACTIONS)

这行代码创建了一个 QNetwork 类的实例对象 target_net，并传入了两个参数：

1. scope="target_q"：这是一个字符串参数，用于为 TensorFlow 变量指定命名空间。在 QNetwork 类的内部，所有的 TensorFlow 变量都会根据这个命名空间前缀进行命名，确保变量名称的唯一性。这里的命名空间为 "target_q"，用于标识这是一个用于目标网络的 Q 网络。

2. VALID_ACTIONS=VALID_ACTIONS：这是一个用于指定有效动作的参数。VALID_ACTIONS 是一个包含所有有效动作的列表或数组，用于定义 Q 网络的输出层的大小。在 QNetwork 类的内部，输出层的大小将根据这个参数来设置，以匹配环境中的有效动作的数量。

通过传入这些参数，target_net 对象就被初始化为一个具有特定命名空间和输出层大小的 Q 网络，专门用于目标网络的更新操作。在后续的代码中，可以通过 target_net 对象调用 Q 网络的方法，如 target_net.predict() 和 target_net.update()，来进行目标网络的预测和更新操作。