TensorFlow-Keras 3.常见参数初始化方法
上篇文章自定义 metrics 用到了 add_weights 方法，这个方法会初始化一个变量，维度不定。参数初始化的选择，对后续的模型迭代效果与收敛速度都有一定影响。下面看下 Keras 有哪些常见的初始化方法：
Tips:
自定义 metrics 用到的 add_weight 并调用 initializer 初始化函数:
class CategoricalTruePositives(keras.metrics.Metric):
def __init__(self, name="categorical_true_positives", **kwargs):
super(CategoricalTruePositives, self).__init__(name=name, **kwargs)
self.true_positives = self.add_weight(name="ctp", initializer="zeros")
# 也可以调整shape一次计算多个指标
self.b = self.add_weight(name="b",initializer="random_uniform")常见的 keras 参数初始化方法：
| 初始化方法 | 参数 |
| 正态化的Glorot初始化 | glorot_normal |
| 标准化的Glorot初始化 | glorot_uniform |
| 正态化的he初始化 | he_normal |
| 标准化的he初始化 | he_uniform |
| 正态化的lecun初始化 | lecun_normal |
| 标准化的lecun初始化 | lecun_uniform |
| 截断正态分布 | truncated_normal |
| 标准正态分布 | random_normal |
| 均匀分布 | random_uniform |
一.常见初始化函数与分布图
首先编写一个简单模型，并初始化其参数，然后 get_weights 并 plot 查看初始化参数的分布，这里接受 initial 参数并传给参数初始化，可以把上述常见初始化方法直接传入函数即可。这里 Dense 层 kernel 参数共有 50000 x 100 = 5000000 个:
def getDenseWeights(initial):
inputs = layers.Input(shape=(100,), name='input')
d1 = layers.Dense(50000, activation='sigmoid', name='dense1',kernel_initializer=initial)(inputs)
output = layers.Dense(7, activation='sigmoid', name='output')(d1)
model = keras.Model(inputs=inputs, outputs=output)
# 100 x 500
w_dense1 = np.array(model.get_layer('dense1').get_weights()[0]).reshape(-1) # 获取dense1层的参数
n, bins, patches = plt.hist(w_dense1,bins=1000)
plt.title(initial)
plt.xlabel('data range')
plt.ylabel('probability')
plt.show()直接输入上述初始化方法名称即可:
getDenseWeights("glorot_normal")
1.正态化的Glorot初始化——glorot_normal
keras.initializers.glorot_normal(seed=None)
Glorot 正态分布初始化器，也称为 Xavier 正态分布初始化器。
它从以 0 为中心，标准差为 stddev = sqrt(2 / (fan_in + fan_out)) 的截断正态分布中抽取样本， 其中 fan_in 是权
值张量中的输入单位的数量， fan_out 是权值张量中的输出单位的数量。
2. 标准化的Glorot初始化——glorot_uniform
keras.initializers.glorot_uniform(seed=None)
Glorot 均匀分布初始化器，也称为 Xavier 均匀分布初始化器。
它从 [-limit，limit] 中的均匀分布中抽取样本， 其中 limit 是 sqrt(6 / (fan_in + fan_out))， fan_in 是权值张量中的
输入单位的数量， fan_out 是权值张量中的输出单位的数量。
3.正态化的he初始化——he_normal
keras.initializers.he_normal(seed=None)
He 正态分布初始化器。
它从以 0 为中心，标准差为 stddev = sqrt(2 / fan_in) 的截断正态分布中抽取样本， 其中 fan_in 是权值张量中的输入
单位的数量。
4.标准化化的he初始化——he_uniform
keras.initializers.he_uniform(seed=None)
He 均匀方差缩放初始化器。
它从 [-limit，limit] 中的均匀分布中抽取样本， 其中 limit 是 sqrt(6 / fan_in)， 其中 fan_in 是权值张量中的输入单位的
数量。
5.正态化的lecun初始化——lecun_normal
keras.initializers.lecun_normal(seed=None)
LeCun 正态分布初始化器。
它从以 0 为中心，标准差为 stddev = sqrt(1 / fan_in) 的截断正态分布中抽取样本， 其中 fan_in 是权值张量中的输入
单位的数量。
6.标准化的lecun初始化——lecun_uniform
keras.initializers.lecun_uniform(seed=None)
LeCun 均匀初始化器。
它从 [-limit，limit] 中的均匀分布中抽取样本， 其中 limit 是 sqrt(3 / fan_in)， fan_in 是权值张量中的输入单位的数
量。
7.截断正态分布 -- truncated_normal
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)
这个初始化方法是 tensorflow 的默认初始化方法，按照截尾正态分布生成随机张量的初始化器。
生成的随机值与 RandomNormal 生成的类似，但是在距离平均值两个标准差之外的随机值将被丢弃并重新生成。这是用来生成
神经网络权重和滤波器的推荐初始化器。
参数
- mean: 一个 Python 标量或者一个标量张量。要生成的随机值的平均数。
- stddev: 一个 Python 标量或者一个标量张量。要生成的随机值的标准差。
- seed: 一个 Python 整数。用于设置随机数种子。
8.标准正态分布——random_normal
keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None)
标准正太分布，这个都比较熟悉了。
参数
- mean: 一个 Python 标量或者一个标量张量。要生成的随机值的平均数。
- stddev: 一个 Python 标量或者一个标量张量。要生成的随机值的标准差。
- seed: 一个 Python 整数。用于设置随机数种子。
9.均匀分布——random_uniform
keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)
参数
- minval: 一个 Python 标量或者一个标量张量。要生成的随机值的范围下限。
- maxval: 一个 Python 标量或者一个标量张量。要生成的随机值的范围下限。默认为浮点类型的 1。
- seed: 一个 Python 整数。用于设置随机数种子。
二.用initializers初始化参数
上面展示的初始化方法都使用了默认的函数名传入，无法控制 mean, std, limit 等参数，如果想要输入非默认的参数，可以采用如下形式，以 mean = 5 ，std = 3 的标准正态分布为例:
init = keras.initializers.RandomNormal(mean=5, stddev=3, seed=None)
def getDenseWeights(init):
inputs = layers.Input(shape=(100,), name='input')
d1 = layers.Dense(50000, activation='sigmoid', name='dense1',kernel_initializer=init)(inputs)
output = layers.Dense(7, activation='sigmoid', name='output')(d1)
model = keras.Model(inputs=inputs, outputs=output)参数换成对应的 initializers
三.自定义方式初始化参数
除了使用Api给出的方法外，也可以调用其他方法，自定义参数。自定义参数需要遵循如下条件，如果传递一个自定义的可调用函数，那么它必须使用参数 shape（需要初始化的变量的尺寸）和 dtype（数据类型）：
1.Api方法
def api_init(shape, dtype=None):
return K.random_normal(shape, dtype=dtype)把 api_init 传给 getDenseWeights 即可。
2.DIY
有 50000 x 100 共 5000000 个参数，我比较任性，就想传 0 - 4999999 作为初始化参数怎么办：
def my_init(shape,dtype=None):
num = np.prod(shape)
arr = np.array(range(0,num))
return arr.reshape(shape)同理，传给 getDenseWeights :
def getDenseWeights(initial):
inputs = layers.Input(shape=(100,), name='input')
d1 = layers.Dense(50000, activation='sigmoid', name='dense1',kernel_initializer=my_init)(inputs)
output = layers.Dense(7, activation='sigmoid', name='output')(d1)
model = keras.Model(inputs=inputs, outputs=output)
# 100 x 500
w_dense1 = np.array(model.get_layer('dense1').get_weights()[0]).reshape(-1) # 获取dense1层的参数
plt.plot(np.array(range(0,5000000)),w_dense1)
plt.title(initial)
plt.savefig("hist/{}".format(initial))
plt.show()
getDenseWeights("my_init")这里就不画分布图了，只是演示一下怎么 diy ，如果想复用训练好的参数，在构建模型的时候，也可以调用 layer 的 set_weight 方法初始化参数，这里就不多赘述了。
参数初始化还有很多生成方法与生成方式，这里并不代表全部，更多初始化方法可以查看参数初始化-keras中文文档。