Weka之重复训练与测试数据

训练数据和测试数据是从相同的总体中取出独立样本，结果自然存在误差。但我们可以通过设定随机种子和重复实验来估算误差。还可以通过实验计算平均值和方差。

1、打开Explorer界面，选择数据集segment-challenge.arff。

2、打开classify面板，选择J48分类器。

3、将Percentage split按比划分设为90%，即数据集的90%为训练集，10%为训练集。点击“start”后，查看正确率为96.667%。

4、将Random seed for XVal /% Split设置为2。点击“start”后，查看正确率为94%。

5、将Random seed for XVal /% Split设置为3，点击“start”后，查看正确率为94%。

6、将Random seed for XVal /% Split设置为4，点击“start”后，查看正确率为96.6667%。

7、将Random seed for XVal /% Split设置为5，点击“start”后，查看正确率为96.6667%。

8、计算5个正确率的平均值及方差，得到的结果是较为可靠的。
另，J48得到的结果通常需±2%，如得到的正确率平均值为94%，那么最终的结果为92%~96%。