过拟合与欠拟合

机器学习的根本问题是优化与泛化之间的对立。优化（optimization）是指调节模型以在训练数据上得到最佳性能（机器学习中的学习），而泛化（generalization）是指训练好的模型在前所未有数据上性能的好坏。
在训练开始时，优化和泛化是相关的，迭代几次后，模型开始过拟合。这时模型开始学习仅与训练数据有关的模式，但这种模式对新数据是错误的或无关紧要的。
解决方法：
1、最优的解决方法是获得更多的训练数据；
2、次优解决方法是正则化。

常见的正则化方法：

1、减小网络大小

减小网络模型大小是最简单的防止过拟合方法。模型中学习参数的个数通常称为容量（capacity）。参数更多的模型拥有更大的记忆容量（memorization capacity），能在训练样本和目标之间完美映射，但没有泛化能力。
始终牢记：深度学习模型通常都很擅长拟合训练模型数据，但真正的挑战在于泛化。
同时为了防止欠拟合，我们要在容量过大与容量不足之间找到折中。
一般工作流程为：
开始选择较少的层和参数，然后逐渐增加层的大小或增加新层，直到这种增加对验证损失的影响变的很小。

2、添加权重正则化

如同奥卡姆剃刀（Occam's razor）原理，简单的模型比复杂的模型更不容易过拟合。
这里简单模型指：参数值分布的熵更小的模型（或参数更少的模型）。
权重正则化：强制让模型权重只能取较小的值，从而限制模型复杂度，使得权重分布更加规则。
实现方法：网络损失函数中添加与较大权重值相关的成本，这个成本有两种形式：
1、L1正则化（L1 regularization）：添加的成本与权重系数的绝对值（权重的L1范数）成正比；
2、L2正则化（L2 regularization）：添加的成本与权重系数 的平方（权重的L2范数）成正比。

# 向模型添加 L2 权重正则化
from keras import regularizers

model = model.Sequential()
model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
                       activation='relu', input_shape=(10000,)))
model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
                       activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

l2(0.001) 意思是：改层权重矩阵的每个系数都会使网络总损失增加 0.001 * weight_coefficient_value。惩罚项只在训练时添加。

# Keras 中不同的权重正则化项
from keras import regularizers

regularizers.ll(0.001) # L1 正则化

regularizers.l1_l2(l1=0.001, l2=0.001) # 同时做 L1 和 L2 正则化

3、添加 dropout 正则化

https://blog.csdn.net/u011851421/article/details/83544853

numpy.random.randint(low, high=None, size=None, dtype='l')
函数的作用是，返回一个随机整型数，范围从低（包括）到高（不包括），即[low, high)。如果没有写参数high的值，则返回[0,low)的值。

参数如下：
low: int
生成的数值最低要大于等于low。（hign = None时，生成的数值要在[0, low)区间内）
high: int (可选)
如果使用这个值，则生成的数值在[low, high)区间。
size: int or tuple of ints(可选)
输出随机数的尺寸，比如size = (m * n* k)则输出同规模即m * n* k个随机数。默认是None的，仅仅返回满足要求的单一随机数。
dtype(可选)：想要输出的格式。如int64、int等等
输出
out: int or ndarray of ints返回一个随机数或随机数数组