第十一章准实验设计和项目评估
(一)真实验
●真实验的特点
a在真实验中,研究者随着实验进程操纵自变量和各个条件,并对其他因素进行严格的控制(常见的是通过随机分配各条件来实现)。
●在自然环境中进行真实验的困难
a对于自然环境下的真实验,研究者在获得实验许可和接近被试时可能会遇到困难。
b虽然有些人认为随机分配不公平,因为这种方法可能会使某些个体失去接受一种新处理的机会,但随机分配仍然是确定一种新的处理是否有效的最好和最合理的方法。
●控制真实验的内部效度
a内部效度的威胁大多是那些对研究结果看似合理的混淆解释。
b内部效度威胁的主要类型包括历史、成熟、测验、测试手段、回归、选择、被试缺损以及伴随选择的附加效应。
●真实验也可能控制不到的问题
a如果研究中发生了实险污染、实验者期望效应和新奇效应,就会对内部效度造成损害。
b当组间被试交流有关实验的信息时,就发生了实验污染,这可能导致级恨、敌对或处理的扩散。
c新奇效应是因为一个新方法(比如实验处理)引发了兴奋、活力和积极性,从而改变了被试的行为。霍桑效应就是一个新奇效应。
d当处理效应不能在特定的人群、情境,时间间进行推广时,就会对外部效度产生威胁。
(二)准实验
a当真实验不可行的时候,准实验提供了一个重要的备选方法。
b准实验包括某种干预或处理并且可以提供比较,但准实验不像真实验控制得那么严格,最为明显和代表性的是准试验没有随机分配。
c当研究者进行准实验时,必须寻找额外的证据来消除对内部效度的损害。单组的前测一后测设计叫做前实验设计,这是一种糟糕的实验设计,因为它几乎没有内部效度。
●非等控制组设计
a在非等控制组设计中,采用前测和后测方法来比较处理组和对照组。
b如果这两组在处理前的前测分数上相似,但是处理后的后测分数不同,研究者就能够更加确信地判断处理产生了效果。
c因历史、成熟、测验、测验工具和回归造成的对内部效度的威胁,能够在非等控制组设计中得到控制。
d准实验常常评价一个处理的整体效力,面处理常包含很多组成成分,接下来的研究就可以确定哪些成分对处理而言是关键的。(兰格和罗丁的研究)
●影响非等控制组设计内部效度的因素
a为了解释准实验设计得到的结果,研究者有必要确定研究中有哪些因素会对内部效度形成威胁。
b当采用非等控制组设计的实验中包含伴随选择的附加效应、回归、观察者偏差、实验污染和新奇效应时,必须考虑其对内部效度的威胁。
c虽然前测组是可比较的,但是这却并不能保证组间在与研究结果相关的所有可能的方面都可以进行比较。
●外部效度问题
类似于内部效度,研究结果的外部效度也∶必须得到批判性地检查。研究结果外部效度的量好正明就是用不同的总体、情境和时间重复实验。
●间断时间系列设计
当研究者能在实施处理前后的一段时间内观察到因变量变化的时候,另一个准实验——简单间断时间系列设计就是可行的。
a在简单间断时间系列设计中,研究者检查处理前后的一系列观察结果。时间系列数据出现突然改变(不连续),就说明处理产生了效果。
b在简单间断时间系列设计中,对内部效度的主要威胁是与实验处理同时发生的历史效应和测量(测试手段)的改变。
●非等控制组的时间系列
在非等控制组时间系列设计中,研究者在处理前后对处理组和对照组都进行一系列的观察。
(三)项目评估
●项目评估用来评定社会服务组织的效力并为管理机构提供关于服务的反馈。项目评估者评定需要、过程、结果和社会服务的有效性。
●基础研究和应用研究之间的关系是交互的。
●尽管社会对使用实验还存在着勉强或不甚情愿,但真实验和准实验能为评价社会改革提供最佳的途径。