机器学习中训练集、验证集、测试集的定义和作用

Training set: A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier.

训练集是用来学习的样本集，通过匹配一些参数来建立一个分类器

Validation set: A set of examples used to tune the parameters [i.e., architecture, not weights] of a classifier, for example to choose the number of hidden units in a neural network.

验证集是用来调整分类器的参数的样本集，比如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。作用是当通过训练集训练出多个模型后，为了能找出效果最佳的模型，使用各个模型对验证集数据进行预测，并记录模型准确率。选出效果最佳的模型所对应的参数，即用来调整模型参数。如svn中的参数c和核函数等。

Test set: A set of examples used only to assess the performance [generalization] of a fully specified classifier.

测试集纯粹是为了测试已经训练好的模型的分类能力的样本集。

一般验证集在交叉验证里应用的比较多：利用交叉验证方法选择模型思路是：使用训练集(trainset)数据所有候选模型进行参数估计，使用验证集(validationset)为检验样本，然后计算预测均方误差，比较各个模型的预测均方误差，选择预测均方误差最小的拟合模型为选择模型。