唧唧堂：他评优于自评？如何应对审稿人对自评问卷的批评

转发一篇来自微信公众号Papers4You的文章！

AMJ，AMR，JAP等顶级期刊文章导读；Multilevel Analysis，Meta-Analysis，Moderation&Mediation，SEM, Psychometrics等研究方法议题；Management，Psychology，Sociology等相关理论介绍，以上内容尽在Papers4You！

－－－－－－

如何应对审稿人关于自评问卷的质疑？Conway 和 Lance （2010）的文章《What reviewers should expect from authors regarding common method bias in organizational research》从审稿人的角度对自评测量方式进行了讨论。小明（笔者小名）认为该文章可能对各位 defend 自己的论文有所帮助，以下为主要知识点：

Conway 和 Lance （2010）认为学者们普遍存在以下误解：

1.自评（self-report）的变量之间的相关虚高

作者通过对经典测量理论公式进行探讨，指出，自评的测量误差（measurement error）部分对观察到的相关有削减效应，而共同方法偏差则对观察到的相关有增加效应。当两部分的效应叠加在一起时，未必会导致观察到的相关虚高（详情请查看原文，以及 Lance 等 2010）。

2.他评（other-report）的测量方法优于自评

作者认为，他评的测量变量之间的相关可能较真实值小，或者不及共同方法测量算出的相关准确。因此，他评未必优于自评。

3.评价来源（rating sources）构成了测量方法

作者指出，不同的测量方法，不止构成方法偏差，还构成与构念相关的方差。例如，对于绩效，自评和他评的真实值很可能不一样，而不同评价来源的分数中的不同部分就构成了与构念相关的方差。

两位作者建议应从以下方面论述自评的适合性：

1.就研究构念指出为何自评更为合适

自评对于自我感知类的构念无疑更为适合，但对于工作特征和工作绩效（performance）等，其他评价方式可能更加合适。

Shalley 等（2009，AMJ）关于自评的创造性表现（creative performance）的研究就是一个很好的例子。该文章的理由是“只有员工才能在工作中察觉到使他们产生创新的细节，因此自评的创造力（creativity）更合适员工。该文章也引用了已有研究的结论：自评的创造力与主管评价的创造力达到 0.62 的相关，来论证自评的可行性。

另一个例子是 Judge 等 （2000，JAP）关于工作特征在核心自我评价和工作满意度之间做中介变量的研究。第一，他们通篇使用“感知的工作特征”，确保概念界定适合。第二，Judge 等认为，具备积极情感的个体会认为外部情境更加友好，相应地认为工作特征更加积极正面，反之，具备消极气质的个体会认为工作特征更加负面。原理上，只有自我感知到的工作特征，才会与自我感知的工作满意度相联系。因此该文章认为自评测量更加恰当。

2.提供良好的构念效度（construct validity）

一种排除方法效应的方式是提供良好的构念效度。作者给出了以下建议来为构念效度提供证据：

a. 合适的信度

b. 报告因子结构

c. 建立目标构念的关系网络，包括相关和不相关的变量

d. 相关群组之间均值的差异

e. 基于多质多法的聚合效度和区分效度

3.指出不同构念题项（items）之间不存在过度重叠

概念上存在重叠的测量题项会使构念之间的真实关系产生偏差。对于存在重叠测量题项的构念，作者认为可行的解决方式是重述（rewording）或删除（dropping）重叠的题项。

4.说明在测量步骤上作者采取了何种措施来减少方法效应的影响

Podsakoff 等（2003）提出，在时间，空间，心理，方法上对不同构念的测量进行分离；保护被试匿名，减少填答的忧虑；平衡调整问题顺序；改进量表条目等措施。

共同方法偏差的事后统计控制问题

作者认为，共同方法偏差的事后统计控制效果并不理想：一些广为人知且容易使用的方法是无效的，多质多法的使用则需要大量的资源才能完成。因此，作者不建议采用事后统计的方式来论证共同方法偏差的问题。

反驳

两位读者认为，使用不同测量方法会使观察到的相关小于真实值，因而在这种情况下找到显著的相关更加有意义（impressive）。但文章作者认为不同测量方法依然会扭曲变量之间的真实关系。两位作者进一步给出的建议是，学术界不应该偏好他评或者自评，而是应该根据研究内容，确定哪一种测量方式更加合理。

参考文献：

Conway, J. M., & Lance, C. E. (2010). What reviewers should expect from authors regarding common method bias in organizational research. Journal of Business and Psychology, 25(3), 325-334.

Lance, C. E., Dawson, B., Birkelbach, D., & Hoffman, B. J. (2010). Method effects, measurement error, and substantive conclusions. Organizational Research Methods, 13(3), 435-455.

Shalley, C. E., Gilson, L. L., & Blum, T. C. (2009). Interactive effects of growth need strength, work context, and job complexity on self-reported creative performance. Academy of Management Journal, 52(3), 489-505.

Judge, T. A., Bono, J. E., & Locke, E. A. (2000). Personality and job satisfaction: The mediating role of job characteristics. Journal of Applied Psychology, 85(2), 237.

Podsakoff, P. M., MacKenzie, S. B., Lee, J. Y., & Podsakoff, N. P. (2003). Common method biases in behavioral research: A critical review of the literature and recommended remedies. Journal of Applied Psychology, 88(5), 879.

欢迎留言讨论~

如果你对本推文提到的方法、理论感兴趣，请根据标注追溯原始文献。

I hope this article is useful for you!

小明

AMJ，AMR，JAP等顶级期刊文章导读；Multilevel Analysis，Meta-Analysis，Moderation&Mediation，SEM, Psychometrics等研究方法议题；Management，Psychology，Sociology等相关理论介绍，以上内容尽在Papers4You！

欢迎关注、转发、点赞~