AMJ发表指南（二）：研究设计
编者按
本文是“AMJ发表指南”系列的第二篇，着重探讨了研究设计方面的问题。如何匹配你的研究主题和研究设计？用截面数据会带来什么问题？如何精准测量构念？共同方法偏差CMV会带来什么影响？控制变量选取的三个原则是什么？中介效应怎么研究？关于这些问题，本文将为您一一解答。
“AMJ发表指南”系列文章从选择研究主题（详见上周推文）到完善论文讨论部分提供了广泛且详尽的建议。本系列文章将由MOR公众号和唧唧堂联手推出，系列文章的第三部分将由“唧唧堂”继续连载。文末有“MOR”公众号介绍与二维码，欢迎各位扫码关注。
系列文章：
研究设计
大多数学者在博士阶段已接触过研究方法论的相关课程，并学习到了成熟研究设计的基础知识，包括研究设计应该以问题为导向，应当避免影响研究有效性的因素等等。因此，在我们有关研究设计的讨论中几乎没有新奇内容。相反，我们关注被AMJ拒稿的研究中显现的共性研究设计问题。研究人员在设计研究时面临的实际问题有:
（a）没有硬性和快速适用的规则；将研究设计与研究主题相匹配是一门恰如艺术的科学；
（b）外部因素有时会限制研究者得出最佳设计的能力（McGrath，1981）。
了解组织、接触组织中的人员以及获得组织中丰富的信息与数据对于管理学学者来说是重要挑战，但如果把这些限制作为设计研究的核心驱动力，就会出现研究结果能被许多其他貌似合理观点所解释的情况，最终导致稿件被拒绝，大量时间，精力和金钱被浪费的结果。在AMJ，适当的研究设计对于成功的研究至关重要，因为文章虽可修订，却无法对研究的基本设计进行更改。研究设计过程中的决定最终会影响研究结论的置信度、研究结果验证研究者观点的效力、以及研究结果的排除其他解释的能力。
总结了过去一年AMJ的拒稿后，我们发现了以下三个常见导致拒稿的研究设计问题：
（1）研究主题和研究设计不匹配，
（2）测量和操作问题（即建构效度），以及
（3）不适当或不完整的模型规范。
01
匹配研究主题和研究设计
截面数据（cross sectional data)
不管在微观还是在宏观的研究中，使用截面数据都是常见的拒稿原因。拒稿并不是出于横截面数据本身的错误或者是审阅者或编辑对此类数据的偏见，而是因为许多（或大多数）管理学的研究问题即使没有明示，实际上都隐含了变化的因素。截面数据的问题在于它们被错误地用来研究隐性或显性的因果关系或变化，对于这种研究问题的强力检验需要对某个变量进行多次测量或操作一个与其他变量有联系的变量。例如，关于组织领导风格的改变对于公司投资方式的影响、CEO或高管的股票期权对公司决策的影响或行业结构变化对行为的影响的研究都隐性包含了因果关系和变化。
同样的，当研究者提出诸如管理行为影响员工动力、HR管理举措减少离职或性别刻板印象限制女性管理者的晋升的假说，他们也在测试隐含的变化；因此无论数据是来自于原有数据库或是员工调查问卷，截面数据都无法支持充分的测试。无论研究人员使用哪种分析工具，他们根本无法通过截面数据建立强有力的因果关系，也无法构建变化。相反，推断变化或确立强因果需要纵向、面板或实验数据。例如Nyberg，Fulmer，Gerhart和Carpenter（2010）创建了面板数据并使用固定效应回归进行建模，模拟CEO与股东财务观点的契合程度对未来股东回报的影响。这个数据结构使得研究人员可以控制跨公司异质性并合理模拟公司内部财务契合度变化对股东回报的影响。
我们的观点不是贬低截面数据的潜在效用，而是想指出研究设计与研究问题恰当匹配的重要性，只有如此，研究才有能力验证相关问题。在研究设计阶段，研究人员应该问自己，他们选择的研究设计是否真的能回答该研究的基本问题。如果问题涉及变化或变量之间因果关系（任何对中介效应的研究都暗示因果关系），截面数据都不能算上选。
不恰当的样本与过程
很多组织研究，包括发表在AMJ上的，都使用便捷样本、模拟的商业情境或虚拟任务。 从研究设计的角度来看，问题在于样本和步骤选取是否适用于研究问题。 让工作经验有限的学生参与经理选拔的实验研究对于测试性别刻板印象分别对男女性经理影响可能不太合适。但是让同一批学生参加情景实验并调查他们更倾向于为何种经理工作相对更满足该研究问题与研究样本对应的原则。Devers，Wiseman和Holmes（2007）基于股权薪酬估值的一项研究诠释了研究问题应与样本匹配的这个理念，他们使用高管MBA学生的样本，样本中几乎所有人都有薪酬延期支付的经历。 同样的，为研究问题匹配一个合适的步骤也需要与选择样本相同的考虑。 如果一项研究涉及一个正在发展的场景，其中研究对象随着时间推移做出一系列决策并做出反馈，研究人员最好根据时间收集数据，而不是在一次45分钟的实验中收集这些决策和反馈点。我们的观点并不是说某些样本（例如高管或学生）或步骤本身比别的好。 实际上，在AMJ，我们明确鼓励进行实验研究，因为这是一种极佳的解决因果关系问题的方法，并且我们认识到在一些重要的问题上（尤其是那些涉及心理过程的问题）通常大学生的回答并不逊色于组织员工（请参阅AMJ，2008年8月From the Editors [vol. 51: 616–620]）。 我们对作者的要求是： 无论研究在实验室中或是在实际场所中进行，研究者应使用与研究问题相匹配的样本和步骤，并在论文手稿中说明为什么这些样本或步骤是合理的。
02
测量与操作
研究人员往往在操作开始时才想到有效性，但可能为时已晚。在做出操作性决策之前，作者提出一个新概念时就必须清楚地阐明该概念的定义和界限，说明其与现有概念的关联，并避免旧瓶装新酒，用新名词援引老概念（Block, 1995）。难以定义核心结构念常常导致论文前后不一致。例如，在撰写论文时，作者最初可能重点关注A概念，例如组织合法性，但后来又用一种不同但相关的B概念来表达，例如声誉或地位。在这种情况下，审稿人将不能明确理解原来的概念或其理论意义。尽管丰富理论不是研究设计的特定组成部分，但是读者和审稿人应该能够清楚地理解作者提出的概念的含义，并看到证据证明已恰当地对其测量。
对现有测量方法的不当调整
对于实地数据收集人员来说，与组织和管理人员达成协作是一个重要的挑战，而问卷长度往往是值得关注的问题。一种简单的缩减调查长度的方法就是减少问卷的题项。但是研究人员从现有的度量中挑选项目（或重写问题以更好地反映其独特背景）而不提供相应支持的有效性证据会导致问题的产生。此问题有以下几种方法可以解决：首先，如果稿件包括新的（或替代的）测量方法（或量表），则所有题项均应包括在稿件中，通常收录于附录。这使评审人员可以检查新测量方法的有效性。其次，作者可能将两种测量方法（原始和删减版）包括在子样本或不同样本中，以此证明它们之间的关联效度。更好的方式是在概念网络中包括其他几个关键变量，以证明新的或替代的测量方法与其他类似和不同的概念有关。
对现有测量方法的不当应用
另一种审稿人警惕的问题是使用现有度量来评估完全不同的构念。这个问题在大型数据库的用户中尤为常见。例如，如果以前的研究使用诸如设计更改（例如餐厅）的行为作为战略变革的度量，而提交的稿件中用同样的行为（更改设计）作为组织调查的度量，会导致我们对作者提出的预期概念的测量缺乏信心。考虑到研究过程的是一个不断累积和增量的过程，重要的是，作者既要确定其新构念的独特性，又要确定其与现有构念的关系以及它的效度。
共同方法偏差（CMV）
我们看到许多被拒绝的AMJ手稿，不仅其数据是横断面的，而且数据还通过相同的方法获得（例如，由同一个人完成问卷的多个预测变量和标准变量）。共同方法偏差严重影响了对数据相关性的解释，因为这种相关性可能是由于测量方法（包括评估者效应，项目效应或上下文效应）导致的系统误差的结果。Podsakoff，MacKenzie，Lee和Podsakoff（2003）详细讨论了共同方法偏差，并提出了减少其偏差影响的方法（请参见Conway＆Lance，2010）。
AMJ论文手稿中对关键变量的测量和操作问题的影响远远超出了心理测量学层面。从概念层面上说，关键变量的草率和模糊定义和对应的操作过程侵蚀着从研究中得出的推论。如果基础构念的本质和测量没有很好地被建立，那么读者将几乎没有信心相信作者已经实际测试了他们提出的模型，并且评审者可以找到对同一个结果的多种合理解释。实际上，不精确的操作和概念定义也使得很难量化汇总研究中的研究结果（即进行荟萃分析meta-analysis）。
03
模型规范
说明理论模型的挑战之一是，实际操作中几乎不可能包含所有可能的控制变量和中介过程，因为相关变量可能不存在于所使用的数据库中，或者因为组织限制了问卷调查的长度。然而，在设计阶段仔细关注关键控制变量和中介过程可以在论文的评审过程中带来可观的回报。适当的控制变量使研究人员可以从他们的研究中得出更多明确的结论。
适当加入控制变量
研究可能会因为控制变量太少或太多而出错。纳入控制变量应满足三个条件（Becker, 2005；James, 1980）。首先，由于明确的理论联系或先前的实证研究，我们预期控制变量和因变量相关。其次，我们预期控制变量与假设的自变量相关。第三，从逻辑上讲，无论作为假设变量或是中介变量，控制变量都不是研究中的核心变量。如果将满足这三个条件的变量从研究中排除，则结果可能会有遗漏的变量偏差。但是，如果研究包含的控制变量不满足这三个要求，它们可能会不必要地吸收自由度或使与假设变量相关的发现有偏差（增加I型或II型误差的可能性）从而影响研究（Becker , 2005）。因此，研究人员应仔细考虑它们所包含的控制变量——确保包含适当的，但排除多余的。
操作中介变量
AMJ文章的独特之处在于，它们被寄望于测试，构建或拓展理论，这一过程的通常形式为解释一组变量为何相关。但是仅凭理论是不够的，同样重要的是，对中介过程进行实证检验。在设计阶段应解决何时应将中介变量包括在模型中（以及包含哪些中介变量）的问题。当一个研究领域是新的时，重点可能是建立两个变量之间的因果关系。但是，一旦建立了关联，对于研究人员来说，清楚地描述和衡量变量A影响变量B的过程就变得至关重要。随着领域的日益成熟，可能需要包括多个中介变量。例如，变革型领导文献的优势之一是，已经研究了许多中介过程[例如领导-成员交换理论 (Kark，Shamir，＆Chen，2003; Pillai，Schriesheim，& Williams，1999; Wang，Law, Hackett, Wang, & Chen，2005)]。但是变革型领导文献的弱点在于，即使这些中介变量在概念上是相互关联的，对它们的研究大多数是孤立的。通常，每个过程都被视为管理过程影响员工的态度和行为的独特过程，而其他已知的中介变量则未被考虑。无法评估其他已知的和概念上相关的中介效应，使作者难以说服审稿人他们的贡献是新颖的。
04
本文结论
尽管研究方法会随着时间的推移而不断发展，但是优秀的研究设计的基本原理几乎没有什么变化：将您的设计与您的问题相匹配，将构念定义与实证操作相匹配，谨慎确定您的模型，使用具有确定的建构效度的测量方式或提供类似的证据，选择适合您独特研究问题的研究样本和过程。提交给AMJ的稿件因为设计问题被拒绝的核心问题不是这些精心设计的研究，在执行过程中遇到问题（尽管这无疑会发生），而是研究人员在研究设计阶段做出了太多的妥协。无论研究人员是基于现有数据库、收集组织中的数据还是进行实验研究，折衷与妥协都是研究过程中无可避免的现实，而挑战是不要做出太多的妥协（Kulka，1981）。
我们可以根据以下假设提出一种实用的设计研究的方法：就有效性而言，大多数单一研究设计在某些方面存在缺陷。因此，提出强有力的研究设计的最好方法可能不在于消除对有效性的威胁（尽管在设计过程中这些威胁的确可以被减免），而在于进行一系列研究。单个研究都有其自身的缺陷，但研究组合成系列可能会得到比任何一项研究本身更有力的推论和更普遍性的结果。我们认为在组织科学和 AMJ 投稿中，多研究和多样本设计没有得到充分使用。因此，我们鼓励研究人员考虑使用多个研究或样本，并在多研究或多样本间互相解决缺陷。例如通过将实地研究与实验室实验相结合（例如Grant & Berry，2011 ），或测试多个行业数据集来评估结果的稳健性（例如Beck、Bruderl 和 Woywode，2008 ）都可达到这一目的。正如 AMJ 的"投稿者信息"中所述，对于多研究稿件，超过 40页的标准长度是可以接受的。
AMJ收到的稿件中，有很大一部分是因为研究设计出现问题而从未被送审或评审反馈很差（即所有三个审阅者都建议拒绝），但 AMJ 发表的稿件也并非完美无缺。有的稿件研究设计不能完全回答他们的基本问题，有的使用未充分验证的度量，有的错误说明了模型。处理每项研究中所有可能降低有效性的威胁过于复杂且难以实现，实证研究也可能永远无法进行（Kulka，1981年）。但在研究设计阶段，诚实地评估并采取措施尽量减少对研究效度的负面影响（无论是通过改进单个研究还是进行多项研究），将增加最终正面结果出现的可能性。
原文刊载于：https://doi.org/10.5465/amj.2011.64869103
原作者:Joyce E. Bono &Gerry McNamara
系列文章：
翻译作者：唧唧堂 + MOR_
组织管理评论(MOR)旨在成为对中国和其他转型经济体情境下进行管理与组织研究的领先期刊。MOR是一本影响深远的多学科社会科学刊物，发表包括测试理论、发展本土理论、探索有趣的现象或研究问题，以及在经济转型的背景下再现先前研究的论文。MOR欢迎来自不同社会科学领域的论文，例如组织行为、组织理论、战略管理、经济学、经济地理、创新理论、人类学、政治学、跨文化和社会心理学，国际商务，社会学和制度理论等。
唧唧堂学术管理分享平台，更好的学术阅读与写作！其微信公众号每日推送心理学、管理学、经济学、金融学等学科最新最热论文解读，运营7年，发表原创文章近3000篇！期待更多研究人加入我们线上阅读及写作小组，一起发现更多好论文，传播更多好内容！
推荐
订阅
扫码订阅
搜索关注“小鹅知识助手”服务号
一秒进入导读单与小社