肯德尔系数怎么分析_论文实战2——德尔菲法与信度分析
原创 阿飞 金木数读
国内疫情快要结束了，各地都开始了复工，小王家也不例外。小王家开的是烧烤店，临近复工，老王（小王他爸）开始犯愁了。受疫情影响，年前采购的几百斤的货全部赔损，现在该采购多少呢，采购少了吧，怕不够用，采购多了吧，怕卖不完。
这时候小王站了出来，“爸，不用担心，让你见识一下知识的力量。”
聪明的小王利用了学校老师讲过的德尔菲法。
首先，选择专家。这个不难找，老王从事餐饮行业多年，人脉宽广，很快找到了大型餐饮店老板、当地餐饮行业资深大佬、老主顾等人，将这些人员组成专家小组。
然后，小王将自己家的情况整理成文字发给各位专家，要求专家们在疫情这一背景下，根据自己家的状况，来估计最低销售量、最高销售量、最可能销售量。同时给出自己做出判断的主要理由。
其次，等到专家回信后，小王将专家们给出的数据与理由进行整理，然后重新发给专家，请他们参考其他专家的意见再次做出预测。
小王在第二次收到数据后发现，大部分专家都对自己之前的结果进行了修改。于是小王将第二次预测的结果进行整理，再发给专家，第三次预测的结果，专家改动不算太大。
小王再接再厉，再一次发给专家，在第四次预测中，专家都没有改变自己的预测数量。
最后，结束了预测，对专家的意见作出了综合处理，在得到的最终数据中，去掉最高与最低值，然后算数平均，得到了今年自己家今年的进货量。
老王此刻也开心的说，“好小子，没白供你念书！”
大家都露出了开心的笑容。
这个案例就是德尔菲法最直接的使用。
在上一篇文章，我提到过，德尔菲法可以用于指标体系的构建，那问题来了，什么是德尔菲法呢？
一、简介
德尔菲法，也叫专家调查法
是一种通过匿名的形式，以书面的方法咨询专家的意见，并对意见进行反复的收集汇总反馈，最终得到不再修改的专家意见。
其具体过程如下，
首先，确定要预测的主题与目标，并收集整理该主题相关的信息与资料；
其次，根据这一主题与资料，寻找具有相关背景，经验丰富与能力超强的专家，建立专家小组，该小组人数在20人以内最好；
然后，将所需解决的问题与相关资料，发送给各个专家，征询专家的意见，并声明对专家的反馈进行匿名处理；
紧接着，将收集到全部专家的反馈意见进行第一轮的汇总，整理为综合意见。将其再次发送给各个专家，请专家参考其他人的意见后，修改自己之前的意见；
最后，进行第二、三轮的汇总整理，于此循环反复，直到所有的专家都不再修改自己的意见或得到统一的意见为止。
（一般来说，第三次便会获得统一的意见，如果分歧较大，再进第四、第五次）
二、论文实例
德尔菲法在论文中的使用，不是简单的咨询一下销售量如何如何，只有几个指标。而是繁多的指标，一般的方法就是制作一个问卷，来让专家评判，保留哪些、删除哪些。
上一篇文章，我提到德尔菲法可以与层次分析法一起使用，首先利用德尔菲法确定出科学的绩效评价指标，然后利用层次分析法确定这些指标的权重。
但为了便于理解，我就不用绩效指标来讲述这个方法，还是我们招生办的小李老师吧。
01
设计问卷
德尔菲法的第一步就是确定主题与相关背景资料
对于小李老师来说，为了确保评价学生指标的科学性，不再是他自己随便列了四个指标。
而是根据自己的经验，列出了他认为的所有可以用来评价学生的指标。列出这堆指标后，来让专家评判，哪个用处大，哪个用处小。
小李老师这次很聪明，专门设计了问卷，来评判这些指标。
首先，为了保持是专家来评判这些指标，小李在问卷第一部分，先调研了被问卷者的基本信息。
然后为了能够评判各个指标，小李老师又一次引入量表。特别重要计5分，重要计4分，不清楚计3分，不重要计2分，非常不重要计1分
问卷内容
您认为评价学生的这些指标的重要性
一、
您的身份
教师 招生办老师
工龄
5-10年 10-15年 15-20年 20-30年 30-40年
二、
1、本科出身
特别重要 重要 不清楚 不重要 非常不重要
为什么（） 为节省篇幅，后面的省略
2、是否跨专业
特别重要 重要 不清楚 不重要 非常不重要
………
3、一志愿学校
特别重要 重要 不清楚 不重要 非常不重要
………
4、考研总成绩
特别重要 重要 不清楚 不重要 非常不重要
5、专业课成绩
特别重要 重要 不清楚 不重要 非常不重要
6、英语成绩
特别重要 重要 不清楚 不重要 非常不重要
7、个人能力
特别重要 重要 不清楚 不重要 非常不重要
8、综合评价：
02
确定专家
为了保证问卷信息的权威性，专家的组成也十分重要
小李老师不仅工作经验丰富，人脉也十分广阔，于是小李老师分别选取了各个学院的招生办老师5人，各个院系的老师15人，组成了专家小组。
（德尔菲法样本保持在20个以内最佳）
03
问卷回收与处理
首先，第一轮问卷进行完成后，小李老师回收到数据，进行整理。部分内容整理如下：
1、本科出身
特别重要 （2人） 重要（13人） 不清楚（2人） 不重要 （3人） 非常不重要（0人）
为什么（ABCD理由）
……… （还是上述的8个问题）
在将这部分内容整理完毕后，小李老师将其发送给各个专家，再由专家参考这部分内容，修改自己的意见。
在进行到第三轮后，专家们不再修改自己的意见或达成统一意见。
04
结果的检验
判断德尔菲法的可靠性和科学性主要由专家的代表性、积极性系数、专家的权威系数、专家意见的协调程度来衡量。因此在问卷各轮运行中，都要对其进行检验。
（以下指标，不需要知道为什么，论文中直接计算运用即可）
1、专家的代表性
以专家的个人基本特征来评判，
如专家的工作经验均为10年以上。
2、专家的积极性
用问卷的回收率来反映，
如发出20份问卷，回收18分，回收率为90%，发出20份问卷，准时回收16份，准时回收率为80%。只要回收率＞70%是较好的标准。
3、专家的权威程度Cr
是专家对评价内容的判断依据（Ca）和专家对问题的熟悉程度（Cs）的算数平均数
Ca是专家对评价内容的判断依据，按常规分为理论依据、实践经验、国内外资料、直觉四类，影响程度为大中小，分别赋值 ，其权重如下图：
如上图例子中，“√”的勾选，Ca=0.3+0.3+0.1+0.1=0.8
Cs是专家对问题的熟悉程度，Cs分为5个等级，即１(不熟悉)——５(很熟悉)，分别赋值为０、0.2、0.5、0.8、１。
如图勾选的“特别熟悉”，其权重为1，即Cs=1
专家的权威系数（Cr）为两者的算数平均数，
即Cr=（Ca+Cs）/2
图中Cr=（0.8+1）/2=0.9
通常Cr≥0.7为良好指标
其在论文中的写作格式为：
4、专家的协调程度
是专家们对条目意见的一致程度
通过变异系数（CV）与肯德尔协调系数（W）来评价
变异系数Cv：表示专家对指标重要性、计算公式合理性、收集方法可操作性的协调程度，系数越小，说明专家协调程度越高。
通常认为Cv＜0.25是一个较好的指标
Cv=标准差/平均数
关于平均数，如一轮指标所得重要性得数为：5/4/4/3
平均数则为(5+4+4+3)/4=4
标准差可直接运用统计软件计算得出
论文中写作格式为：
肯德尔协调系数（W）
是计算多个等级变量相关程度的一种相关量，在德尔菲法中用来检验专家对指标的评分结果是否一致的指标。
W值越大，专家的协调程度就越高
因公式较为复杂，直接用SPSS就可以实现
（使用其他统计软件的同学可直接百度，这个方法百度有很多教程）
图片来源：护理科研
05
结果的筛选与处理
在各轮操作都通过检验后，获得的最终数据要进行处理。
小李老师通过德尔菲法获得了专家对各个指标的最终评价数据。各个指标的得分如下：
本科出身 4.55
是否跨专业2.87
一志愿学校3.46
考研总成绩 4.3
专业课成绩2.1
英语成绩4.9
个人能力 3.7
因为小李老师通过专家检验的是评价体系，所以小李老师只需要根据各个指标的得分，将重要性指标在3分以下的指标删除即可，便得到最终对学生的评价指标。
经过德尔菲法确定的体系，是经过所有权威专家反复认真筛选之后的指标，可以科学、合理的评判每个学生的水平。
如果我们运用德尔菲法要确定的不是指标评价体系，而是文章开头的预测数值呢？其最终的结果必然不是完全一样的，此时对于数值的处理，有两种方法，
一、算数平均法
去掉一个最高值与最低值，将剩余结果进行算数平均，从而得到最终数据
二、权重统一法
因为我们找的专家来自不同领域，对你要预测的数据熟悉程度也各不相同，这时可以为不同专家赋予权重，如本行业的专家可以赋予0.6的权重，娶她行业的专家赋予0.4的权重，最终结果乘以权重再求和平均。
三、评价
看到这里同学们，应该对德尔菲法有了一个基本的认知了。
其优势在于：
（1）能集中不同领域的专家，实现集思广益；
（2）能把各位专家意见的分歧点表达出来，取各家之长，避各家之短；
（3）可以通过反复多轮的反馈修改，实现数据的科学性与准确性。
同时，德尔菲法匿名的特点又可以避免专家会议法的缺点：
（1）权威人士的意见影响他人的意见；
（2）有些专家碍于情面，不愿意发表与其他人不同的意见；
（3）出于自尊心而不愿意修改自己原来不全面的意见。
不过德尔菲法也存在很大的劣势：
（1）过程较复杂，花费时间、精力较多；
（2）一旦结果无法通过检验，修正过程较复杂。
四、信度检验
信度，即可靠性，主要是对问卷数据可靠性的检验。
在论文中，我们常常会使用问卷法，但发出去的问卷是否被认真填写？所得数据是否具有一致性？
为了验证这一问题，要运用到信度检验。
常用的信度检验为克隆巴赫Alpha系数，也称α系数
通常认为，信度系数应该在0～1之间，
量表的信度系数在0.9以上，表示量表的信度很好；
量表的信度系数在0.8～0.9之间，表示量表的信度可以接受；
量表的信度系数在0.7～0.8之间，表示量表有些项目需要修订；
量表的信度系数在 0.7以下，表示量表有些项目需要抛弃。
下图来源于：丁香园论坛
由上表可以看出：本次样本量一共486份，无缺失项。整体的克隆巴赫Alpha系数达到0.93
系数大于0.7，通过了可靠性性检验，说明我们收集到的数据可靠性良好
上图为各个指标的克隆巴赫Alpha系数
论文中，在对绩效评价体系进行问卷调研的部分，可以这样表述：
本研究采用克隆巴赫α系数进行问卷样本的信度分析。其中一级指标重要性评价α系数为0.835, 二级指标重要性评价α系数为0.853, 三级指标重要性评价α系数为0.871, 因此结果表明该问卷具有较高的信度指标。
总结
本文第一部分讲述了德尔菲法的使用。
德尔菲法是一种通过匿名的形式，以书面方式反复多轮获取、反馈专家意见，最终得到所有专家讨论出的科学、合理的预测主题。
（在一般硕士论文中，关于德尔菲法的部分不需要详写，简略提一下步骤，列出检验结果即可，重点在于后文的实证分析）
其主要分为以下五步：
1、确定主题，收集资料
2、构建专家小组
3、第一轮，将主题与意见提交给专家，收集专家的意见，将专家反馈汇总整理，第二轮，将汇总数据再次发给专家，要求专家参考他人意见，修改自己意见。反复多次进行，直到专家不再修改意见或达成一致。
4、将每一轮的数据进行检验，若未通过检验，要求专家重新思考意见
5、对最终的结果进行筛选整理。
文章第二部分讲述了信度检验，信度检验是对问卷可靠性的检验。只有通过检验的问卷数据，才能使用分析。
后记
本以为德尔菲法是一个比较简单的方法，没想到一写就是一天。最开始认为的德尔菲法仅仅是将数据经过专家反复多轮检验就够了，在论文中，单纯的文字讲述就可以。
但在查阅参考文献的过程中发现，部分参考文献对德尔菲法的数据进行了检验。可去寻找相关的资料，大部分资料关于德尔菲法并没有检验的过程，有检验过程的，也很简略。最后只能根据每个检验的名称，挨个搜索查询，才汇成了这篇文章。
写这篇文章的时候略带伤感，德尔菲法是大二期间，我们刁刚刁老师教授的，一个可以在京东获得年薪二百万的男人。
那时每天上课的乐趣就是听刁老师讲他这个周末去了哪里，干了什么。印象最深刻的是，有一节课上，刁老师开心的对我们说，“我身价又涨了几十万，原来在京东能拿150万，现在能拿200万”，听得我们满眼小星星。可惜当时概率、统计基础太差，刁老师讲的建模也听得一知半解。现在重新开始自学建模，才懂得有老师教导的好处。正如星爷的那句话“曾经有个机会摆在我的面前，但我没有珍惜。”
可惜回不去了，刁老师已经离职去追求他的梦想。
所以请每一位同学，珍惜人生路上碰到的每一位导师。Good Good Study ，Day Day Up！！！
下期预告：回归分析
回归分析是论文使用最多的模型，大学学的最多的也是多元回归模型，这个模型很简单，也很复杂。
你“在看”我吗？
