开始对EEG数据进行训练
可能会随时更新，，，
第一个实验（desktop computer）
将2224个ep和normal总样本进行归一化：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-scale.exe epnorma
llibsvm.svm > epnormallibsvm.scale
WARNING: original #nonzeros 2127904
new #nonzeros 6671908
Use -l 0 if many original feature values are zeros
对2224个总样本抽样（按约8:2的比例分为训练集和测试集）：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\tools>python subset.py epnorm
allibsvm.scale 1770 epnormallibsvm.train epnormallibsvm.test
使用最easy的方式跑第一次svm，即使用easy.py工具（需要安装gnuplot软件）：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\tools>python easy.py epnormal
libsvm.train epnormallibsvm.test
Scaling training data...
WARNING: original #nonzeros 5309923
new #nonzeros 5309939
Use -l 0 if many original feature values are zeros
Cross validation...
艾玛，机子卡了，，，
the second day...
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-predict.exe epnor
mallibsvm.test.scale epnormallibsvm.train.model epnormalresult1.txt
Accuracy = 97.7974% (444/454) (classification)
结果还不错啊。
第二组实验（laptop，不使用easy.py工具了，第一组实验准确率还挺高的，不知道是否存在过拟合）：
对归一化后的2224个总样本抽样（按约7:3的比例分为训练集和测试集）：
D:\libsvm-3.20\tools>python subset.py epnormallibsvm.scale 1550 epnormallibsvm.t
rain epnormallibsvm.test
直接用svm-train.exe工具对训练集进行训练svm模型：
D:\libsvm-3.20\tools>cd ../windows
D:\libsvm-3.20\windows>svm-train.exe epnormallibsvm.train epnormallibsvm.train.m
odel
*
optimization finished, #iter = 798
nu = 0.828093
obj = -1218.847945, rho = -5.348895
nSV = 1291, nBSV = 1276
Total nSV = 1291
使用svm-predict.exe工具对上一步训练好的model在测试集上进行测试：
D:\libsvm-3.20\windows>svm-predict.exe epnormallibsvm.test epnormallibsvm.train.
model epnormalresutl2.txt
Accuracy = 61.5727% (415/674) (classification)
果然存在过拟合。。。或者还是参数没有调好，，，或者特征样本点不够“特征”？？
第三个实验（laptop，对第二个实验进行自动选择最优参数，即还是使用easy.py，只是想对比一下结果）：
估计得跑个十几分钟了（开始时间：2015.4.17 8:42:01）
有两台电脑任自己调配的好处就是，一台机器跑着一个实验，可以在另一台机器上跑另一个实验，吼吼~
现在已经是9:17:30了，过去半个多小时了，还在跑着，，，使用easy.py进行参数调优实在是太慢了，准备手动调优参数了。
。。。
9:32:30了，50分钟过去了，仍然是Cross validation。。。此时的参数为（gnuplot上实时显示的）：
Best log2(C) = 5 log2(gamma) = -5 accuracy = 96.7742%
C = 32 gamma = 0.03125
其中，log2(C) 为横坐标，log2(gamma)为纵坐标。
实际上，手动调参，主要就是惩罚系数C和rbf径向基核函数的参数gamma。那就参考此刻的C值哈gamma值，从这里开始吧。它是是继续跑它的（laptop），我在desktop上手动调参。
下面的几个实验都做完了，这个实验直到11:03:28才完成，历时2个小时21分钟。
看下结果吧（昨天晚上跑的第一个实验，早晨来了一看又崩了，没看到结果。。。这次可以看了，desktop还不如laptop）：
D:\libsvm-3.20\tools>python easy.py epnormallibsvm.train epnormallibsvm.test
Scaling training data...
WARNING: original #nonzeros 4649937
new #nonzeros 4649962
Use -l 0 if many original feature values are zeros
Cross validation...
Best c=32.0, g=0.03125 CV rate=96.7742
Training...
Output model: epnormallibsvm.train.model
Scaling testing data...
WARNING: original #nonzeros 2021971
new #nonzeros 2021983
Use -l 0 if many original feature values are zeros
Testing...
Accuracy = 97.9228% (660/674) (classification)
Output prediction: epnormallibsvm.test.predict
哈哈，貌似漫长的等待总是值得的，这次得到的Accuracy最高！
是不是可以想到，做事情不要浮躁，不要急于求成，静下心来研究，踏实走好每一步，结果总会好的~~
第四个实验（desktop，和第二个类似，只是train集和test集的比例换成约6：4）：
首先对2224个总样本进行抽样：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\tools>python subset.py epnorm
allibsvm.scale 1330 epnormallibsvm4.train epnormallibsvm4.test
对train集进行训练：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-train.exe epnorma
llibsvm4.train epnormallibsvm4.train.model
*
optimization finished, #iter = 715
nu = 0.823675
obj = -1035.060451, rho = -5.268397
nSV = 1105, nBSV = 1085
Total nSV = 1105
对test集进行测试：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-predict.exe epnor
mallibsvm4.test epnormallibsvm4.train.model epnormalresult4.txt
Accuracy = 60.7383% (543/894) (classification)
仅仅通过实验二和实验四是否可以得出，仅仅训练不调优参数，实验结果差不多就在61%左右了？？
那么既然实验一中的Accuracy那么高，不妨用那个训练好的model对实验二和实验四中的test集进行预测：
首先看一下对实验二的测试结果：
实验二的test集在laptop上（苦逼的是，有线无线网络不在一个局域网上，交换机虽然就在我这，但多插一根网线就会不工作，，，来回传文件要么用qq，要么用U盘代步，，登上qq机器会更卡，，一把辛酸泪，苦不堪言啊，，，），扯的太远了，先看看对实验四的test集的结果吧：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-predict.exe epnor
mallibsvm4.test epnormallibsvm.train.model epnormalresult41.txt
Accuracy = 96.868% (866/894) (classification)
额，貌似也挺高的，忽然想起来，这个模型是在约8比2的train集和test集（虽然分成了train集和test集，但已用了全部的数据样本得出来的model）上进行交叉验证的，仍然存在过拟合的问题，那么，接下来就在约占8的train集上进行再分train81集和test82集，仅仅对约占8的train集进行easy.py自动化参数调优，将约占2的test21集完全隔离开来，然后用这个新的model8对全新的test21集进行预测。
还有个问题，就是上面已经提到过的，使用easy.py进行参数调优实在是太慢了，还是手动调优参数吧。
手动调参，就选约8:2的train集和test集吧：
使用参数（ -g 0.03125 -c 32）进行训练：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-train.exe -g 0.03
125 -c 32 epnormallibsvm1.train
epnormallibsvm11.model
...*.*
optimization finished, #iter = 4975
nu = 0.063868
obj = -1964.716169, rho = -0.959370
nSV = 545, nBSV = 25
Total nSV = 545
手动写参数很快，就几秒钟就运行完了。
使用训练好的模型，对全新的test集进行预测：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-predict.exe epnor
mallibsvm1.test epnormallibsvm11.model epnormalresult11.txt
Accuracy = 97.7974% (444/454) (classification)
哇哦，准确率很高。
暂时到这里，要去开会了（Wearable2015）。10:00
回来继续实验（10：55）。
第五个实验（desktop，和第二、四个类似，只是train集和test集的比例换成5:5）：
按5:5抽样：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\tools>python subset.py epnorm
allibsvm.scale 1112 epnormallibsvm5.train epnormallibsvm5.test
仍然使用参数（-g 0.03125 -c 32）对train5集进行训练：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-train.exe -g 0.03
125 -c 32 epnormallibsvm5.train epnormal5.model
..*.*
optimization finished, #iter = 3396
nu = 0.070966
obj = -1365.881889, rho = -0.961911
nSV = 429, nBSV = 15
Total nSV = 429
使用训练好的epnormal5.model对test5集进行预测：
D:\Program Files\MATLAB\R2013a\toolbox\libsvm-3.20\windows>svm-predict.exe epnor
mallibsvm5.test epnormal5.model epnormalresult5.txt
Accuracy = 96.4029% (1072/1112) (classification)
准确率依然不错的样子，但还是有上升的空间，通过这组数据看来，1000个以上的数据会有几十个会预测错，error number（误差数）会随着数据量的增大而增大。
有个感慨，就是如同《机器学习那些事儿》中所说的，绝大部分的时间可能都会用在特征工程（Future Engineering，个人认为不错的一个方向，too）上，特征工程可能会花费几天甚至几周，但训练和预测也就几个小时搞定。。