一、实验目的
学习使用 weka 中的常用分类器,完成数据分类任务。
二、实验内容
- 了解 weka 中 explorer 的 Classify 面板4个区域的功能。
- 在多个数据集上完成分类任务:建立分类模型,再利用该模型对数据对象进行分类,并对分类器的输出结果进行比较和分析。
三、实验要求
- 在同一数据集上, 选择多种分类器(常用的分类器有 Naive Bayes、SMO、IBK(k设为2)、J48 等),对不同分类器的输出结果进行比较和分析。
- 选择有训练集和测试集的数据集,在该数据集上选择两种评价模型:测试集评估和10折交叉验证 ,对分类结果进行比较和分析。
四、实验过程
1、了解 Classify 面板的4个区域
区域1
分类算法选择框,用于选择分类算法对数据进行分类任务的处理。
有贝叶斯、函数式、惰性方法(基于实例)、组合方法、混合算法、基于规则和决策树等类别;
常用的有朴素贝叶斯(一种比较简单易懂的统计学习方法?)、(SMO)支持向量机(尚不知道这到底是什么,好像很有名,神经网络的简化?类似于筛子?)、k-最邻近值(对于1-最邻近值的改进?)、C4.5决策树(对ID3的改进,支持了连续值?)。
区域2
评估方法选择框,用于选择处理数据分类任务时的评价模型。
有使用训练集、使用测试集、交叉验证(常用10折交叉验证?)和保持方法四种;
更多选项如 * 图b* 所示,包含输出模型、输出每个类别的统计量、输出熵估计度量(在决策树中有用?)、输出混淆矩阵、设置代价矩阵(搞明白行与列的意义很重要,比较容易混乱?)等。
区域3
结果(日志)列表。
右键单击某一行后会弹出一系列选项,包括各种可视化属性。
区域4
分类结果输出框,显示区域2更多选项中选中的一系列输出信息。
区域5(未标出)
状态信息,显示一系列系统状态信息,如内存占用、是否正在进行挖掘。(上一次实验中的00区域)
2、使用 weather.numeric.arff 进行分类
(0) 数据集(将原有数据的最后两个作为测试集)
** % 删掉最后两个实例后的 weather.numeric.arff **
@relation weather
@attribute outlook {sunny,overcast,rainy}
@attribute temperature numeric
@attribute humidity numeric
@attribute windy {TRUE,FALSE}
@attribute play {yes,no}
@data
sunny,85,85,FALSE,no
sunny,80,90,TRUE,no
overcast,83,86,FALSE,yes
rainy,70,96,FALSE,yes
rainy,68,80,FALSE,yes
rainy,65,70,TRUE,no
overcast,64,65,TRUE,yes
sunny,72,95,FALSE,no
sunny,69,70,FALSE,yes
rainy,75,80,FALSE,yes
sunny,75,70,TRUE,yes
overcast,72,90,TRUE,yes
** % weather.numeric-test.arff **
@relation weather
@attribute outlook {sunny,overcast,rainy}
@attribute temperature numeric
@attribute humidity numeric
@attribute windy {TRUE,FALSE}
@attribute play {yes,no}
@data
overcast,81,75,FALSE,yes
rainy,71,91,TRUE,no
(1) 朴素贝叶斯 + 10折交叉验证
(2)朴素贝叶斯 + 使用测试集
乍看起来,(2)的ROC高,似乎显得比(1)的 * 效果 * 好,但这应该是因为数据集,尤其是测试集合太小,使偶然因素起到了决定性作用。
(3)SMO支持向量机 + 10折交叉验证
(4)SMO支持向量机 + 使用测试集
与(3)比起来,(4)的ROC高,于是可以肯定我之前得出的结论——测试集合太小,使偶然因素起到了决定性作用。
(5)2-最邻近值 + 10折交叉验证
(IBK, k = 2)
(6)2-最邻近值 + 使用测试集
(7)C4.5决策树 + 10折交叉验证
一直觉得决策树的结果是最直观,即使不懂统计学,也能轻易看懂,不过我直觉认为它会产生比较大的偏差。
(8)C4.5决策树 + 使用测试集
(9)四种分类算法默认条件下构建模型对比
说明:
此例中测试集偶发性较大,所以评估方法选用更稳定的10折交叉验证;
Jitter在左端(默认位置)时,
很多点是重叠的,看不出效果,因此均置于右端。
直观来看,有如下结论:
- 只有朴素贝叶斯算法有可能正确预测出no类别。
- 后三种算法在此例中所见模型准确度十分相似。
- 所有算法准确率都在50-60%,没什么显著区别。(这结果对于只有两个可能选项的play来说,几乎没有意义)
会出现这种情况,一是因为使用的数据集比较小(更改后的仅有12个实例),二是因为我这时确实不知道这些分类器参数的意义,直接用了默认。
3、使用 vote.arff 进行分类
(1)数据说明
为了弥补上例中数据集过小的缺点,这回使用了有435个实例的 vote.arff :
% 1. Title: 1984 United States Congressional Voting Records Database
%
% 2. Source Information:
% (a) Source: Congressional Quarterly Almanac, 98th Congress,
% 2nd session 1984, Volume XL: Congressional Quarterly Inc.
% Washington, D.C., 1985.
% (b) Donor: Jeff Schlimmer ([email protected])
% (c) Date: 27 April 1987
%
% 3. Past Usage
% - Publications
% 1. Schlimmer, J. C. (1987). Concept acquisition through
% representational adjustment. Doctoral dissertation, Department of
% Information and Computer Science, University of California, Irvine, CA.
% -- Results: about 90%-95% accuracy appears to be STAGGER's asymptote
% - Predicted attribute: party affiliation (2 classes)
%
% 4. Relevant Information:
% This data set includes votes for each of the U.S. House of
% Representatives Congressmen on the 16 key votes identified by the
% CQA. The CQA lists nine different types of votes: voted for, paired
% for, and announced for (these three simplified to yea), voted
% against, paired against, and announced against (these three
% simplified to nay), voted present, voted present to avoid conflict
% of interest, and did not vote or otherwise make a position known
% (these three simplified to an unknown disposition).
%
% 5. Number of Instances: 435 (267 democrats, 168 republicans)
%
% 6. Number of Attributes: 16 + class name = 17 (all Boolean valued)
%
% 7. Attribute Information:
% 1. Class Name: 2 (democrat, republican)
% 2. handicapped-infants: 2 (y,n)
% 3. water-project-cost-sharing: 2 (y,n)
% 4. adoption-of-the-budget-resolution: 2 (y,n)
% 5. physician-fee-freeze: 2 (y,n)
% 6. el-salvador-aid: 2 (y,n)
% 7. religious-groups-in-schools: 2 (y,n)
% 8. anti-satellite-test-ban: 2 (y,n)
% 9. aid-to-nicaraguan-contras: 2 (y,n)
% 10. mx-missile: 2 (y,n)
% 11. immigration: 2 (y,n)
% 12. synfuels-corporation-cutback: 2 (y,n)
% 13. education-spending: 2 (y,n)
% 14. superfund-right-to-sue: 2 (y,n)
% 15. crime: 2 (y,n)
% 16. duty-free-exports: 2 (y,n)
% 17. export-administration-act-south-africa: 2 (y,n)
%
% 8. Missing Attribute Values: Denoted by "?"
%
% NOTE: It is important to recognize that "?" in this database does
% not mean that the value of the attribute is unknown. It
% means simply, that the value is not "yea" or "nay" (see
% "Relevant Information" section above).
%
% Attribute: #Missing Values:
% 1: 0
% 2: 0
% 3: 12
% 4: 48
% 5: 11
% 6: 11
% 7: 15
% 8: 11
% 9: 14
% 10: 15
% 11: 22
% 12: 7
% 13: 21
% 14: 31
% 15: 25
% 16: 17
% 17: 28
%
% 9. Class Distribution: (2 classes)
% 1. 45.2 percent are democrat
% 2. 54.8 percent are republican
%
% Class predictiveness and predictability: Pr(C|A=V) and Pr(A=V|C)
% Attribute 1: (A = handicapped-infants)
% 0.91; 1.21 (C=democrat; V=y)
% 0.09; 0.10 (C=republican; V=y)
% 0.43; 0.38 (C=democrat; V=n)
% 0.57; 0.41 (C=republican; V=n)
% 0.75; 0.03 (C=democrat; V=?)
% 0.25; 0.01 (C=republican; V=?)
% Attribute 2: (A = water-project-cost-sharing)
% 0.62; 0.45 (C=democrat; V=y)
% 0.38; 0.23 (C=republican; V=y)
% 0.62; 0.45 (C=democrat; V=n)
% 0.38; 0.23 (C=republican; V=n)
% 0.58; 0.10 (C=democrat; V=?)
% 0.42; 0.06 (C=republican; V=?)
% Attribute 3: (A = adoption-of-the-budget-resolution)
% 0.91; 0.87 (C=democrat; V=y)
% 0.09; 0.07 (C=republican; V=y)
% 0.17; 0.11 (C=democrat; V=n)
% 0.83; 0.44 (C=republican; V=n)
% 0.64; 0.03 (C=democrat; V=?)
% 0.36; 0.01 (C=republican; V=?)
% Attribute 4: (A = physician-fee-freeze)
% 0.08; 0.05 (C=democrat; V=y)
% 0.92; 0.50 (C=republican; V=y)
% 0.99; 0.92 (C=democrat; V=n)
% 0.01; 0.01 (C=republican; V=n)
% 0.73; 0.03 (C=democrat; V=?)
% 0.27; 0.01 (C=republican; V=?)
% Attribute 5: (A = el-salvador-aid)
% 0.26; 0.21 (C=democrat; V=y)
% 0.74; 0.48 (C=republican; V=y)
% 0.96; 0.75 (C=democrat; V=n)
% 0.04; 0.02 (C=republican; V=n)
% 0.80; 0.04 (C=democrat; V=?)
% 0.20; 0.01 (C=republican; V=?)
% Attribute 6: (A = religious-groups-in-schools)
% 0.45; 0.46 (C=democrat; V=y)
% 0.55; 0.46 (C=republican; V=y)
% 0.89; 0.51 (C=democrat; V=n)
% 0.11; 0.05 (C=republican; V=n)
% 0.82; 0.03 (C=democrat; V=?)
% 0.18; 0.01 (C=republican; V=?)
% Attribute 7: (A = anti-satellite-test-ban)
% 0.84; 0.75 (C=democrat; V=y)
% 0.16; 0.12 (C=republican; V=y)
% 0.32; 0.22 (C=democrat; V=n)
% 0.68; 0.38 (C=republican; V=n)
% 0.57; 0.03 (C=democrat; V=?)
% 0.43; 0.02 (C=republican; V=?)
% Attribute 8: (A = aid-to-nicaraguan-contras)
% 0.90; 0.82 (C=democrat; V=y)
% 0.10; 0.07 (C=republican; V=y)
% 0.25; 0.17 (C=democrat; V=n)
% 0.75; 0.41 (C=republican; V=n)
% 0.27; 0.01 (C=democrat; V=?)
% 0.73; 0.03 (C=republican; V=?)
% Attribute 9: (A = mx-missile)
% 0.91; 0.70 (C=democrat; V=y)
% 0.09; 0.06 (C=republican; V=y)
% 0.29; 0.22 (C=democrat; V=n)
% 0.71; 0.45 (C=republican; V=n)
% 0.86; 0.07 (C=democrat; V=?)
% 0.14; 0.01 (C=republican; V=?)
% Attribute 10: (A = immigration)
% 0.57; 0.46 (C=democrat; V=y)
% 0.43; 0.28 (C=republican; V=y)
% 0.66; 0.52 (C=democrat; V=n)
% 0.34; 0.23 (C=republican; V=n)
% 0.57; 0.01 (C=democrat; V=?)
% 0.43; 0.01 (C=republican; V=?)
% Attribute 11: (A = synfuels-corporation-cutback)
% 0.86; 0.48 (C=democrat; V=y)
% 0.14; 0.06 (C=republican; V=y)
% 0.48; 0.47 (C=democrat; V=n)
% 0.52; 0.43 (C=republican; V=n)
% 0.57; 0.04 (C=democrat; V=?)
% 0.43; 0.03 (C=republican; V=?)
% Attribute 12: (A = education-spending)
% 0.21; 0.13 (C=democrat; V=y)
% 0.79; 0.42 (C=republican; V=y)
% 0.91; 0.80 (C=democrat; V=n)
% 0.09; 0.06 (C=republican; V=n)
% 0.58; 0.07 (C=democrat; V=?)
% 0.42; 0.04 (C=republican; V=?)
% Attribute 13: (A = superfund-right-to-sue)
% 0.35; 0.27 (C=democrat; V=y)
% 0.65; 0.42 (C=republican; V=y)
% 0.89; 0.67 (C=democrat; V=n)
% 0.11; 0.07 (C=republican; V=n)
% 0.60; 0.06 (C=democrat; V=?)
% 0.40; 0.03 (C=republican; V=?)
% Attribute 14: (A = crime)
% 0.36; 0.34 (C=democrat; V=y)
% 0.64; 0.49 (C=republican; V=y)
% 0.98; 0.63 (C=democrat; V=n)
% 0.02; 0.01 (C=republican; V=n)
% 0.59; 0.04 (C=democrat; V=?)
% 0.41; 0.02 (C=republican; V=?)
% Attribute 15: (A = duty-free-exports)
% 0.92; 0.60 (C=democrat; V=y)
% 0.08; 0.04 (C=republican; V=y)
% 0.39; 0.34 (C=democrat; V=n)
% 0.61; 0.44 (C=republican; V=n)
% 0.57; 0.06 (C=democrat; V=?)
% 0.43; 0.04 (C=republican; V=?)
% Attribute 16: (A = export-administration-act-south-africa)
% 0.64; 0.65 (C=democrat; V=y)
% 0.36; 0.30 (C=republican; V=y)
% 0.19; 0.04 (C=democrat; V=n)
% 0.81; 0.15 (C=republican; V=n)
% 0.79; 0.31 (C=democrat; V=?)
% 0.21; 0.07 (C=republican; V=?)
%
@relation vote
@attribute 'handicapped-infants' { 'n', 'y'}
@attribute 'water-project-cost-sharing' { 'n', 'y'}
@attribute 'adoption-of-the-budget-resolution' { 'n', 'y'}
@attribute 'physician-fee-freeze' { 'n', 'y'}
@attribute 'el-salvador-aid' { 'n', 'y'}
@attribute 'religious-groups-in-schools' { 'n', 'y'}
@attribute 'anti-satellite-test-ban' { 'n', 'y'}
@attribute 'aid-to-nicaraguan-contras' { 'n', 'y'}
@attribute 'mx-missile' { 'n', 'y'}
@attribute 'immigration' { 'n', 'y'}
@attribute 'synfuels-corporation-cutback' { 'n', 'y'}
@attribute 'education-spending' { 'n', 'y'}
@attribute 'superfund-right-to-sue' { 'n', 'y'}
@attribute 'crime' { 'n', 'y'}
@attribute 'duty-free-exports' { 'n', 'y'}
@attribute 'export-administration-act-south-africa' { 'n', 'y'}
@attribute 'Class' { 'democrat', 'republican'}
@data
'n','y','n','y','y','y','n','n','n','y',?,'y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
?,'y','y',?,'y','y','n','n','n','n','y','n','y','y','n','n','democrat'
'n','y','y','n',?,'y','n','n','n','n','y','n','y','n','n','y','democrat'
'y','y','y','n','y','y','n','n','n','n','y',?,'y','y','y','y','democrat'
'n','y','y','n','y','y','n','n','n','n','n','n','y','y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n',?,'y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n','y','y',?,'y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n',?,?,'democrat'
'n','y','n','y','y','n','n','n','n','n',?,?,'y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','n','y',?,'y','y',?,?,'republican'
'n','y','y','n','n','n','y','y','y','n','n','n','y','n',?,?,'democrat'
'y','y','y','n','n','y','y','y',?,'y','y',?,'n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','n','y',?,?,'n',?,'republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y',?,'n',?,'republican'
'y','n','y','n','n','y','n','y',?,'y','y','y',?,'n','n','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','y','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n',?,'y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n',?,'y','y','n','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n',?,?,'y','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n',?,'n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','n','n','y','y','n','y','y','y','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y',?,'n','y','y','y','n','n','n','y','n','y',?,'y','n','y','republican'
'y','y','n','y','y','y','n','n','n','n','n','n','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','n','y','y','y','y','y','n','y','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n',?,'n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y',?,'n','y','n','n','n','y',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y',?,'n','n','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','n','n','n','n','n','y','n','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n',?,'n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n',?,?,'democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','y','y','n','n','y',?,'y','n','n','y','y','n','y','n',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'y','y','y','n','n',?,'y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y',?,'n','n','n','y','democrat'
'y','y','n','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','y','n','n','n','y','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','y','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','y','n','y',?,'democrat'
'y','y','y','y','n','n','y','y','y','y','y','n','n','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'y','n','y','y','y','n','y','n','y','y','n','n','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','y','n','n','y','y','y','democrat'
'n','y','y','y','y','y','n','n','n','y','y','n','y','y','n','n','democrat'
'n','y','y','n','y','y','n','n','n','y','y','y','y','y','n',?,'democrat'
'n','y','y','y','y','y','n','y','y','y','y','y','y','y','n','y','democrat'
'y','y','y','n','y','y','n','n','n','y','y','n','y','y','n','y','democrat'
'n','n','n','y','y','n','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','y','y','y','y','y','n','y','n','y','n',?,'democrat'
'y','n','y','n','n','n','y','y',?,'y','y','y','n','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','y','n','y','y','n','n','n','y','y','y','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','y','n','y','y','y','n','y','y','y','n','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n',?,'y','y','n',?,'republican'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','n','y','y','n','n',?,'y','y','democrat'
'y','n','y','n','n','n','y','n','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','y','y','n','n','n','n','n','n','n','n','n','y','democrat'
'y','n','y','n','y','y','n',?,?,'n','y',?,?,?,'y','y','democrat'
'n','n',?,'n','y','y','n','n','n','n','y','y','y','y','n','y','democrat'
'y','n','n','n','y','y','y','n','n','y','y','n','n','y','n','y','democrat'
'y','y','y','n','n','y','y','y','y','y','n','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y',?,'y','y','y','n','n','republican'
'y','n','n','n','y','y','n','n','n','n','y','y','n','y','n','y','democrat'
'y','n','y','n','y','y','y','n','n','n','y','n','n','y','n','y','democrat'
'y','n','y','n','y','y','y','n',?,'n','y','n','y','y','y',?,'democrat'
'y','n','n','n','y','y',?,'n',?,'n','n','n','n','y',?,'n','democrat'
?,?,?,?,'n','y','y','y','y','y',?,'n','y','y','n',?,'democrat'
'y','y','y','n','n','n','n','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n',?,?,?,?,?,?,?,?,?,?,?,?,'y',?,?,'republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n',?,'y','n','n','y','y','y','n','y','n','n','n','n','y',?,'democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n',?,'y','n',?,?,'y','y','y','y',?,?,'n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','y','y','n','y','n','n','n','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','n','y','y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,?,'y','y','y','n','n','n','y','n','y','y','y',?,'y','republican'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y',?,'n','y','y','y','n','y','n','n','n','y','y','y','n','y','republican'
'n',?,'y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,'y','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n',?,'y','n','n','y','n','y','n','y','y','n','n','n','y','y','democrat'
?,?,'y','n','n','n','y','y',?,'n',?,?,?,?,?,?,'democrat'
'y',?,'y','n',?,?,'y','y','y','n','n','n','n','n','y',?,'democrat'
'n','n','y','n','n','y','n','y','y','y','n','n','n','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','n','n','y','republican'
'n',?,'y','n','n','y','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','y','n','n','y','y','y','y','y','n','n','n','y','n','y','democrat'
'y','n','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','n','y','n','n','y','y','y','y','n','n','y','y','n','y','republican'
'n','n','n','y','y','y','y','y','y','y','n','y','y','y',?,'y','republican'
'n','n','n','y','y','y','y','y','y','y','n','y','y','y','n','y','republican'
?,'y','n','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n',?,'n','n','n','y','y','y','y','y','n','n','n','y','n',?,'democrat'
'n','n','y','n','n','y','y','y','y','y','n','n','n','y',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','n','n','n','y','y','y','y','n','y','y','y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','y',?,'y','y','y','n','n','y','n','y',?,'y','y','n','n','democrat'
'n','y','y','n','n','y','n','y','y','y','y','n','y','n','y','y','democrat'
'n','n','y','n','n','y','y','y','y','y','y','n','y','y','n','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','n','y','y','y','n',?,'n','n','y','y','y','y','n','n','republican'
'y','y','n','y','y','y','y','n','n','n','n','y','y','y','n','n','republican'
'n','y','y','n','n','y','n','y','y','n','y','n',?,?,?,?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','y','n',?,'y','y','y','y','y','y','n','n',?,'n',?,'democrat'
'n','y','n','n','y','y','n','n','n','n','n','y','y','y','y','y','democrat'
'n','n','n','n','y','y','y','n','n','n','n','y','y','y','n','y','democrat'
'n','y','y','n','y','y','y','n','n','n','y','y','y','y','n','y','democrat'
'n','y','n','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'y','y','n','n','y','y','n','n','n','y','y','y','y','y','n',?,'democrat'
'n','y','y','n','n','y','y','y','y','y','y','n','y','n','y',?,'democrat'
'y','n','y','y','y','y','y','y','n','y','n','y','n','y','y','y','republican'
'y','n','y','y','y','y','y','y','n','y','y','y','n','y','y','y','republican'
'n','n','y','y','y','y','n','n','y','n','n','n','y','y','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','y','n','y','democrat'
'y','n','y','n','n','n',?,'y','y',?,'n','n','n','n','y',?,'democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','y','y','y','y','n','n',?,'n','y','y','democrat'
'n','n','n','n','y','y','n','n','n','y','y','y','y','y','n','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','y','n','n','y','y','y','y','n','n','n','y','y','y','republican'
'n','n','y','n','n','n','y','y','y','y','y',?,'n','n','y','y','democrat'
?,'n','y','n','n','n','y','y','y','y','y',?,'n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
?,?,'y','n','n','n','y','y','y',?,?,'n','n','n',?,?,'democrat'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
?,?,?,?,?,?,?,?,'y',?,?,?,?,?,?,?,'democrat'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n',?,'n','n','y','y','democrat'
'n','y','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y',?,'n','y','y','y','y','y','n','n','n','y',?,'y',?,?,'republican'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','y','n','y','y','y','n',?,'n','y','n','y','y','y','n',?,'republican'
'n','n','n','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','y','n','n','y','y',?,'y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','n','y','n','n','y','y','y','y','n','y','y','n','y','y',?,'democrat'
'n',?,'y','y','y','y','n','n','n','y','n','n','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','y','n',?,'n','y',?,'democrat'
'y','y','n','n','n','n','y','y',?,'n','y','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','y','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','y','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','n','y','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y',?,'n','y','y','y','y','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','n',?,'n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','y','y','n','n','n','n','y','democrat'
'n','n','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','n','y','y','n','y','n','y','n','y','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','y','y','y','y','n','n','n','y','y','y','y','y','y',?,'democrat'
'y','y','y','n','y','y','n','n',?,'y','n','n','n','y','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n',?,'n','n','n','y',?,'democrat'
'n','y','y','n','n','n','n','y','y','n','y','n','n','y','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','y','y','n','n','n','n','y','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'n','n','n','y','y','n','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n',?,'y','y','n','n','republican'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y',?,'n','y','republican'
'n','y','y','y','y','y','y','n','y','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','y','y','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','y','y','n','n','y','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','n','y','n','y','y',?,'democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','y','y','y','n','n','n','y','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y',?,'y','n','n','n','n','y',?,'democrat'
'n','n','n','y','y','y','y','n','n','y','n','n','n','y','y','y','republican'
'n','n','n','y','n','y','y',?,'y','n','n','y','y','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n','n','n','n','y','y','y','n','n','n','n',?,'n','y','y','y','republican'
'n','y','y','n','n','n','y','y',?,'y','n','n','y','n','y','y','democrat'
'y','n','y','n','n','n','n','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','y','n','y','n','y','y','y','n','n','n','n','y',?,'y','democrat'
'n','y','n','y','y','y',?,'n','n','n','n',?,'y','y','n','n','republican'
?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,'republican'
'y','n','y','n','n','n','y','y',?,'n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','n','y','y','n','n','n','n','n','n','y','n','y','n','n','republican'
'n','n','n','y','y','n','n','n','n','n','n','y','n','y',?,'y','republican'
'n','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'y','n','y','n','n',?,'y','y','y','n',?,?,'n',?,?,?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n',?,'n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y','n','n','n','n','n','y','y','y','y','n','n','n','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','n',?,'n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','n','n','y','y','n','y','y','n','y','n','y','y','y',?,'y','republican'
'y','n','n','y','y','n','y','n','n','y','n','n','n','y','y','y','republican'
'n','n','y','n','y','y','n','n','n','n',?,'n','y','y','n','n','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','y','n','republican'
'n','n','y','y','y','y','y','y','n','y','n','n','n','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','n','y','n','y','democrat'
'y','n','y','y','y','y','y','y','n','n','n','n','n','y','n',?,'republican'
'y','n','n','y','y','y','n','n','n','y','n',?,'y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','y','n','n','n',?,'y','democrat'
'n','n','y','n','n','y','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','y','n','n','y',?,'y',?,'y','y','y','n','y','y',?,'democrat'
'y','y','y',?,'n','y','y','y','y','n','y','n','y','n',?,'y','democrat'
'y','y','y','n','y','y','n','y','n','y','y','n','y','y','y','y','democrat'
'y','y','y','n','y','y','n','y','n','y','y','n','y','y','n',?,'democrat'
'y','n','y','n',?,'y',?,'y','y','y','n','n','y','y','n','y','democrat'
'y','n','y','n','n','y','y','y','y','y','n',?,'n','y','n','y','democrat'
'y','n','y','n','n','y','y','y','n','y','y','n','y','y','y','y','democrat'
'y','y','y','n','n','y','y','y','y','y','y','n','y','y','y','y','democrat'
'n','y','y','n','n','y','y','y','n','y','y','n','y','y','n',?,'democrat'
'n','y','n','y','y','y',?,?,'n','y','n','y',?,?,?,?,'republican'
'n','n','y','y','y','y','n','n','n','y','n','y','y','y','y','y','republican'
'y','y','y','n','n','y','y','y','y','y','n','n',?,'n','y',?,'democrat'
'n','y','n','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','y','n','n','y','y','y','y','democrat'
'n','n','n','y','y','n','y','y','y','y','n','y','y','y','n','y','republican'
'n','n',?,'n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','n','y','n','n','y','y','y','y','n','n','n','n','y','n',?,'democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','n','n','n','y','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','y','n','republican'
'n','n','y','n','n','y','y','y','y','y','n','n','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','y','y','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','y','y','n','n','y','y','y','y','y','y','republican'
'n','y','y','y','y','y','y',?,'n','n','n','n',?,?,'y',?,'republican'
'n','n','n','n','n','y','n','y','y','n','y','y','y','y','y','n','democrat'
'y','n','n','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','n','y','n','y','y','y','n','n','y','y','n','y','democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','y','n','n','y','democrat'
'y','y','y','n',?,'y','n',?,'n','n','y','n','y','y','n',?,'democrat'
'y','y','y','n','y','y','n','y',?,'y','n','n','y','y','n',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','y','y','y','y','n','n','republican'
'n','y','n','n','y','y','n','n',?,'n','n','y','y','y','n','y','democrat'
'y','y','n','y','n','n','y','y','y','n','y','n','n','y','n','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n','y','democrat'
'y',?,'y','n','n','y','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y',?,'n','y','y','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','y','y','y','y','y','n',?,'republican'
'n','n','y','n','n','y','y','y','n','n','y','n','n','y',?,'y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','y','y','y','democrat'
'y','n','n','y','y','y','n','n','n','n','y','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','y','y','y','n','y','n','y','republican'
'n',?,'y',?,'n','y','y','y','y','y','y','n',?,?,'y','y','democrat'
'n','y','y','n','y',?,'y','n','n','y','y','n','y','n','y','y','democrat'
'n','n','n','y','y','n','y','n','y','y','n','n','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','n','n','y','n','y','n','y','y','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','n','y','y','y','y','n','y','n','n','y',?,'democrat'
'n','y','y','y','y','y','y','y','y','n','n','y','y','y','n','y','republican'
'n','y','n','n','n','y','y','n','y','n','y','n','n','n','y','y','democrat'
'n','n','y','y','y','y','y','y','y','y','n','y','y','y','y','y','republican'
'n','y','n','y','n','y','y','y','y','n','y','n','y','n','y',?,'democrat'
'n','n','y','y','y','y','y','n','n','y','y','y','y','y','n','y','republican'
'n','y','y','n','n','y','y','y','y','y','n',?,'n','n','y','y','democrat'
'y','n','y','y','n','n','n','y','y','y','n','n','n','y','y','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','y','y','y','y','y','y','y','y','y','n',?,'democrat'
'n','n','n','y','y','y','n','n','n','y',?,'y','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','n','n','y','n','n','y','democrat'
'y','n','y','n','y','y','y','n','y','y','n','n','y','y','n',?,'democrat'
'y','y','y','n','n','y','y','y','y','y','y','y','y','n','n','y','democrat'
'y','y','n','y','y','y','n','n','n','y','y','n','y','n','n','n','republican'
'y','y','n','y','y','y','n','n','n','n','y','n','y','y','n','y','republican'
'n','y','n','n','y','y','n','n','n','y','y','n','y','y','n','n','democrat'
'y','n','y','n','n','n','y','y','n','y','y','n','n','n','n',?,'democrat'
'y','y','y','n','y','y','y','y','n','y','y','n','n','n','y',?,'democrat'
'n','y','y','n','n','y','y','y','n','y','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n','y','y','n','y','republican'
'y','y','y','n',?,'y','y','y','n','y',?,?,'n','n','y','y','democrat'
'y','y','y','n',?,'n','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','y','y','y','y','n','n','n','n','y','y',?,'y','n','n','democrat'
'n','y','y',?,'y','y','n','y','n','y',?,'n','y','y',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','y','y','n','y','n','n','democrat'
'y',?,'y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y',?,?,'n','n',?,?,'y',?,?,?,'republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','y',?,'y','y','n','y','n','y','n','y','y','democrat'
'y','y','y','n','y','y','y','y','y','y','y','n','y','y','n',?,'democrat'
'y','y','n','y','y','y','n','n','n','n','y','n','y','y','n',?,'democrat'
'y','y','y','n','y','y','n','y','y','y','y','n','n','n','n','y','democrat'
'y','y','y','y','y','y','n','n','n','n','y','y','y','y','n','y','democrat'
'y','y','n','n','y','y','n','n','n','n','y','y','y','y','y','n','democrat'
'n',?,'y','n','y','y','n','y','n','n','y','n','n','n','n',?,'democrat'
'y','y','y','n','y','y','n','y','y','n','y','n','n','y','n',?,'democrat'
'n','y','y','y','y','y','n','n','n','n','n','y','y','y','n',?,'democrat'
'y','n','y','n','n','n','y','y','y',?,'y','n','n','n','y',?,'democrat'
?,?,'n','n',?,'y',?,'n','n','n','y','y','n','y','n',?,'democrat'
'y','y','n','n','n','n','n','y','y','n','y','n','n','n','y','n','democrat'
'y','y','n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
?,?,?,?,'n','y','n','y','y','n','n','y','y','n','n',?,'republican'
'y','y',?,?,?,'y','n','n','n','n','y','n','y','n','n','y','democrat'
'y','y','y',?,'n','n','n','y','n','n','y',?,'n','n','y','y','democrat'
'y','y','y','n','y','y','n','y','n','n','y','n','y','n','y','y','democrat'
'y','y','n','n','y',?,'n','n','n','n','y','n','y','y','n','y','democrat'
'n','y','y','n','y','y','n','y','n','n','n','n','n','n','n','y','democrat'
'n','y','n','y',?,'y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n',?,'n','n',?,?,?,'y','n',?,'republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','n','republican'
?,'n','y','y','n','y','y','y','y','y','n','y','n','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y',?,'y','n','n','republican'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','n','y','n','y','y','n','n','y','y','n','n','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','n','y','y','y','y','n','n','democrat'
'y','n','y','n','n','y','y','y','y','n','n','y',?,'y','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','y','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','y','y','y','y','y','y','y','n','y',?,?,?,'y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'n','y','y','n','n','y','y','y',?,'y','n','n','n','n','n','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','n','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','y','y','n','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y','n','y','n','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','y','y','y','y','y','y','y','n','y','n','n','y','y','n','y','republican'
'n','y','y','n','y','y','y','y','n','n','y','n','y','n','y','y','democrat'
'n','n','y','n','n','y','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'n','y','y','n','n',?,'y','y','y','y','y','n',?,'y','y','y','democrat'
'n','n','y','n','n','n','y','y','n','y','y','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','y','n','y','n','y','y','y','n','y','republican'
?,?,?,'n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'y','n','y','n',?,'n','y','y','y','y','n','y','n',?,'y','y','democrat'
'n','n','y','y','y','y','n','n','y','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
'n','n','n','y','y','y',?,?,?,?,'n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y',?,'n','republican'
%
%
%
另外,上例测试集的选取不具随机性,于是就写了一段程序(写的挺难看的,不过能用)随机挑选35个实例作为测试集。
# 随机挑选35个实例作为测试集
from random import randint
f = open('vote.arff', 'r')
vote = f.read()
f.close()
list = vote.split('\n')
head = list[194:213]
data = list[213:-4]
test = []
for i in range(35):
rand = randint(0,len(data)-1)
info = data.pop(rand)
test.append(info)
print(len(data),len(test))
f1 = open('vote1.arff','w')
f2 = open('vote1_test.arff','w')
for line in head:
line += '\n'
f1.write(line)
f2.write(line)
for line in data:
f1.write(line+'\n')
for line in test:
f2.write(line+'\n')
f1.close()
f2.close()
图m就是改后的数据截图:
(2)四种分类算法主要参数列表:
- ** 正确预测比例 **
评估方法 | 朴素贝叶斯 | SMO支持向量机 | 2-最邻近值 | C4.5决策树 |
---|---|---|---|---|
10折交叉验证 | 90% | 95.75% | 92.75% | 95.5% |
使用训练集 | 91.4286 % | 97.1429 % | 94.2857 % | 100% |
- ** ROC值 **
评估方法 | 朴素贝叶斯 | SMO支持向量机 | 2-最邻近值 | C4.5决策树 |
---|---|---|---|---|
10折交叉验证 | 0.972 | 0.959 | 0.964 | 0.965 |
使用训练集 | 0.983 | 0.975 | 1 | 1 |
这回的数据分类模型效果比上例都强了太多:四种算法预测正确率都在 90% 之上,而 ROC 值都在0.95之上。其原因一是数据集中实例较多;二是 vote 这个数据集本身是关于政治倾向问题的,相对 weather 中根据天气打网球来说,与“心情”之类的因素没多少关系,具有足够的“必然性”,这点在图n中也可见一斑(几乎仅有被黄线标识这两个属性差异不明显)。
比如剔除了两个黄线标识的属性后,再用J48分类(10折交叉验证情况下),正确预测率达到96%,ROC值也达0.969。(除朴素贝叶斯外,这几个算法的参数都有轻微提升)当然,剔除太多属性后,算法效果并不稳定。
同时,所有四个算法在使用测试集的评估方法下,都有较之10折交叉验证时更好的参数,这大概因为前者虽使用了的35个随机实例作为测试集,但较之后者偶然性仍更大,没有统计回归效应。
比如用刚才的程序重新选出一组训练集和测试集后,参数会变为:
- ** 正确预测比例2 **
评估方法 | 朴素贝叶斯 | SMO支持向量机 | 2-最邻近值 | C4.5决策树 |
---|---|---|---|---|
10折交叉验证 | 89.75% | 96.5% | 92.75% | 96.25% |
使用训练集 | 97.1429% | 94.2857% | 97.1429% | 97.1429% |
- ** ROC值2 **
评估方法 | 朴素贝叶斯 | SMO支持向量机 | 2-最邻近值 | C4.5决策树 |
---|---|---|---|---|
10折交叉验证 | 0.97 | 0.966 | 0.972 | 0.967 |
使用训练集 | 0.98 | 0.96 | 0.96 | 0.978 |
显然使用测试集的评估方法下,各算法参数变化更大。(当然,无法排除抽取数据导致的随机性,不过应该已经可以提供实验数据支持了)
(3)数据分类结果
选用了最直观易懂的C4.5决策树算法在使用测试集下建立的模型,稍微看一下图o,就可知道起决定作用的只是少数属性,于是也侧面证实了之前提到过的剔除部分不显著属性可以带来效果的提升。
五、实验结论
在此次实验中,能得到如下结论(在我已有的知识背景下,相信它们也算是一般规律了):
四个算法的效果:SMO支持向量机 > C4.5决策树 > 2-最邻近值 > 朴素贝叶斯;
四个算法的轻便度(按时间和资源花费的倒序):朴素贝叶斯 > 2-最邻近值 > C4.5决策树 > SMO支持向量机;
两个评估方法的稳定性:10折交叉验证 > 使用测试集;
两个评估方法的轻便度:使用测试集 > 10折交叉验证。