阅读莫凡python中的DQN代码遇到的基础知识障碍的解决

阅读莫凡python中的DQN代码遇到的基础知识障碍的解决

tf.get_collection（）

1. tf.add_to_collection：把变量放入一个集合，把很多变量变成一个列表
2. tf.get_collection：从一个集合中取出全部变量，是一个列表
3. tf.add_n：把一个列表的东西都依次加起来

tf.assign(A, new_number)

1. 这个函数的功能主要是把A的值变为new_number

zip（）

1. zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用 * 号操作符，可以将元组解压为列表。
2. 以下实例展示了 zip 的使用方法：

>>>a = [1,2,3]
>>> b = [4,5,6]
>>> c = [4,5,6,7,8]
>>> zipped = zip(a,b)     # 打包为元组的列表
[(1, 4), (2, 5), (3, 6)]
>>> zip(a,c)              # 元素个数与最短的列表一致
[(1, 4), (2, 5), (3, 6)]
>>> zip(*zipped)          # 与 zip 相反，*zipped 可理解为解压，返回二维矩阵式
[(1, 2, 3), (4, 5, 6)]

tf.placeholder（）

tf.placeholder(dtype, shape=None, name=None) 此函数可以理解为形参，用于定义过程，在执行的时候再赋具体的值

dtype：数据类型。常用的是tf.float32,tf.float64等数值类型
shape：数据形状。默认是None，就是一维值，也可以是多维，比如[2,3], [None, 3]表示列是3，行不定
name：名称。

tf.variable_scope

1. tf.variable_scope可以让变量有相同的命名，包括tf.get_variable得到的变量，还有tf.Variable的变量
2. tf.name_scope可以让变量有相同的命名，只是限于tf.Variable的变量

tf.random_normal_initializer（）函数

1. tf.random_normal_initializer(mean=0.0, stddev=1.0, seed=None, dtype=tf.float32) 返回一个生成具有正态分布的张量的初始化器。
2. tf.constant_initializer(value) 生成一个初始值为常量value的tensor对象
   value：指定的常量
   dtype： 数据类型
   verify_shape： 是否可以调整tensor的形状，默认可以调整

tf.reduce_sum

hasattr()函数

hasattr() 函数用于判断对象是否包含对应的属性。

hstack（）

hstack(tup) ，参数tup可以是元组，列表，或者numpy数组，返回结果为numpy的数组

import numpy as np
a=[1,2,3]
b=[4,5,6]
print(np.hstack((a,b)))

输出：[1 2 3 4 5 6 ]

import numpy as np
a=[[1],[2],[3]]
b=[[1],[2],[3]]
c=[[1],[2],[3]]
d=[[1],[2],[3]]
print(np.hstack((a,b,c,d)))

输出：
[[1 1 1 1]
 [2 2 2 2]
 [3 3 3 3]]
它其实就是水平(按列顺序)把数组给堆叠起来，vstack()函数正好和它相反。

tf.GraphKeys.GLOBAL_VARIABLES函数

常见GraphKeys

1. GLOBAL_VARIABLES: 该collection默认加入所有的Variable对象，并且在分布式环境中共享。一般来说，TRAINABLE_VARIABLES包含在MODEL_VARIABLES中，
2. MODEL_VARIABLES包含在GLOBAL_VARIABLES中。MODEL_VARIABLES包含在GLOBAL_VARIABLES中。
3. LOCAL_VARIABLES: 与GLOBAL_VARIABLES不同的是，它只包含本机器上的Variable，即不能在分布式环境中共享。
4. MODEL_VARIABLES: 顾名思义，模型中的变量，在构建模型中，所有用于正向传递的Variable都将添加到这里。MODEL_VARIABLES: 顾名思义，模型中的变量，在构建模型中，所有用于正向传递的Variable都将添加到这里。
5. TRAINALBEL_VARIABLES: 所有用于反向传递的Variable，即可训练(可以被optimizer优化，进行参数更新)的变量。TRAINALBEL_VARIABLES: 所有用于反向传递的Variable，即可训练(可以被optimizer优化，进行参数更新)的变量。
6. SUMMARIES: 跟Tensorboard相关，这里的Variable都由tf.summary建立并将用于可视化。
7. QUEUE_RUNNERS: the QueueRunner objects that are used to produce input for a computation.
8. MOVING_AVERAGE_VARIABLES: the subset of Variable objects that will also keep moving averages.
9. REGULARIZATION_LOSSES: regularization losses collected during graph construction.

常用的几个优化器

Optimizer
GradientDescentOptimizer
AdagradOptimizer
AdagradDAOptimizer
MomentumOptimizer
AdamOptimizer
FtrlOptimizer
RMSPropOptimizer

基本的用法就是tf.train.xx