训练集 验证集 测试集

训练集loss < 验证集loss < 测试集loss
一个好的网络，二者的差距应该是很低的。但一般情况下因为网络不可避免地存在一定程度上的过拟合，所以肯定是train_loss低于test_lost，但如果低太多，就得考虑是过拟合的问题还是因为样本的特征空间不统一的问题。
http://www.mooc.ai/bbs/question/1426/show

验证集基本是在每个epoch完成后，用来测试一下当前模型的准确率。

对于一个模型来说，其参数可以分为普通参数和超参数。普通参数就是可以被梯度下降所更新的，也就是训练集所更新的参数。另外，还有超参数的概念，比如网络层数、网络节点数、迭代次数、学习率等等，这些参数不在梯度下降的更新范围内。尽管现在已经有一些算法可以用来搜索模型的超参数，但多数情况下我们还是自己人工根据验证集来调。

从狭义来讲，验证集没有参与梯度下降的过程，也就是说是没有经过训练的；但从广义上来看，验证集却参与了一个“人工调参”的过程，我们根据验证集的结果调节了迭代数、调节了学习率等等，使得结果在验证集上最优。
https://blog.csdn.net/ch1209498273/article/details/78266558

验证集是一定需要的；
如果验证集具有足够泛化代表性，是不需要再整出什么测试集的；
https://blog.csdn.net/JNingWei/article/details/78170171