AMJ发表指南（五）：研究方法和结论的雕琢
编者按
本文是“AMJ发表指南”系列的第五篇，本篇将告诉你如何雕琢一篇论文的研究方法和结论。
“AMJ发表指南”系列文章从选择研究主题、研究设计到完善论文讨论部分提供了广泛且详尽的建议。本系列文章将由MOR公众号和唧唧堂联手推出，文末有“MOR”公众号介绍与二维码，欢迎各位扫码关注。
系列文章：
恭喜各位来到“研究方法和结果”这一部分，经过了一番绞尽脑汁的对于研究主题的构思、方法设计、理论提炼和写作后，可能有些研究者会认为终于能够小憩一下，继而将本部分内容丢给新人作为练手工作了。但作为AMJ现任编辑，必须负责地告诉大家：“方法和结果”部分虽然不是文章最关键和核心的部分，但对于审稿人对于稿件质量的评估过程却起到举足轻重的作用。“方法和结果”的报告主要是为了解决以下两个问题：
（1）如何及为何获取现有数据？
（2）数据分析如何进行，以及得到了什么结果？
良好的方法和结论写作能使得读者相信作者的观点有据可循，并且从细节处体现作者和文章的严谨性。本文的建议是在研究方法和结果的报告时应当遵循3C原则，即完整性（completeness）、清晰性（clarity）和可信性（credibility）。
研究方法的3C:
完整性：在我们的评审意见中关于方法部分最常提及的问题为以下三个方面：（1）一些作者未能对完整描述数据收集的方法，（2）或是未能完整描述构念的操作化定义，（3）亦或是未能完整说明采用了哪些分析方法。对待一份原始数据，作者们不仅需要描述数据发生了什么改变，更重要的是为何做出这些决定。即数据收集的完整性不仅要求作者详细说明获取了哪些数据（What），并且需要解释为什么获取到的是这些数据（Why）。一个好的例子是几位学者对于群体层面的公民行为的研究（Bommer, Dierdorff, and Rubin's 2017 ），我们可以从文章方法部分的描述中得知下列信息：（1）如何联系到参与者（即论文的第一作者现场与参与者对接），（2）如何获取数据（在实地培训室中，由20至30名员工组成的小组），（3）对参与者采取了何种激励措施（公司总裁和研究人员的来信），（4）哪些参与者提供了与模型相关的构念的信息（员工，管理者，高管），（5）其他与数据收集相关的信息（例如参与实验的员工和管理者在不同的房间内完成相应的问卷）。提供数据收集的详细信息以及个人和团队级别样本特征的完整描述，有助于评审人评估研究设计的优缺点。完整的信息有利于评审人评估研究的优劣势，研究的优势自然要说，但对于不足之处也当详细说明。举个例子，对于一份采用了两轮滚雪球方式收集到的数据，其缺点很显然，两轮数据收集的样本经过匹配后产生的样本量会小于直接邀请参与过第一轮调查的参与者进行第二轮调研的样本量；但同时，此方法却具有独特优势：大量的单轮参与者（那些仅参与了第一轮调查或第二轮调查的参与者）可被用于直观地反映调查的响应偏差（response bias）和样本的代表性（representativeness）。
需要特别注意的是研究当中时常用到的档案数据，虽然作者往往无法获取数据搜集的详细细节，但同样不能忽视对于此类数据收集过程描述的完整性。实际上，大多数档案数据集都随附有提供大量详细信息的技术报告或使用手册，研究人员可以尝试复制原始数据收集中发现的数据收集程序和度量的详细信息。一个很好的例子是Lee，Gerhart，Weller和Trevor（2008）等人对于National Longitudinal Survey and Youth Cohort (NLSY79)的使用。对于其他的档案数据收集，即作者自己构造的数据集，可能是通过编码企业年报或媒体账户，或是通过其他方式构建变量，诸如此类的情况下，作者都必须说明如下问题：多少观测值因为何种原因被丢弃；编码如何进行，里面包含了怎样的主观判断。
总而言之，对于任何数据而言本部分都应当保证三点：（1）能够回答研究程序的how，what和why的问题；（2）允许读者对研究的优劣势进行评估，显示研究的专业性；（3）为保障研究的可重复性提供充足的信息。
清晰性：清晰性也是常常被忽略和没能做好的细节之一。我们常常见到下列表述：“我们采用了某某的题项”或者“我们采用了来自多个来源的题项”，文章却没有说明为什么要这样做。理想情况下，作者可以通过使用可用的完整且经过验证的变量构造方法来简单地避免这些问题，如果不能，则必须说明修改的理由。如果作者在初稿中未提供这些信息，审稿人的回复意见也必定会要求提供，而提前提供信息可以提高二次修订的机会，何乐而不为？值得注意的是，变量编码的合理性是导致清晰性问题的常见原因。几乎每个定量研究都有可能涉及到编码问题，尤其是那些设计档案数据集，实验法等的研究。例如，Ferrier（2001）使用结构化内容分析来编码新闻头条以衡量竞争性攻击。在这个极好的例子当中，Ferrier以一种有组织性的方式，结合直截了当的语言，清晰地描述了研究团队如何制定每个维度的编码决策，以及这些决策如何导致与竞争性攻击的操作化定义相匹配。
可信性：作者们可以通过简单的小技巧提升读者对方法和结论的可信性的感知。首先，可以强调为什么选择了现有的样本，审稿人经常质疑为什么要使用特定的样本，特别是感兴趣的现象在某些研究背景下的重要性不那么明显时；其次，可以在对构念进行操作化定义前总结其理论化定义。这不仅降低了读者的阅读难度（不必在论文中来回查找构念定义），并且将减少读者对论文提出的理论是否与检验结果相符的担忧。第三，解释为什么要使用特定的操作化方法，例如，组织绩效包含多个维度，对于一些作者而言，这些构念有些可能与手头的假设有关，而另一些则没有，一些作者可能会在毫无理由的情况下引入某些维度，给审稿人带来“惊喜”。如果现有数据中有其他替代措施，建议报告使用这些替代措施后的发现。第四，模型的规范性和数据分析方法的合理性至关重要。例如，我们经常看到有些作者在未对需要控制的原因作任何说明的情况下就在模型中包含了这些控制变量，这是不可取的。对于某些类型的数据，存在多种可能的分析方法，作者需要说明为什么使用一种方法而不是另一种方法。例如，面板数据可以使用固定效应模型或随机效应模型进行分析。需要注意的是，每种方法都有其特定的假设，在某些情况下，必须进行其他分析才能做出分析方法的选择（例如，进行Hausman检验以在面板数据的固定效应模型和随机效应模型之间进行选择）。
picture from internet
研究结论的3C：
完整性：需要明确的是，高效的写好实证结果部分并不容易，尤其是当研究的模型或研究设计比较复杂时。首先，对于新手而言，绘制一个概览性的表格十分必要，在表中列举各个变量的中位数、标准差、相关系数等。尽管这些数据并不能直接证明假设，但能够展现数据的概貌。例如，变量之间高度相关意味着可能存在多重共线性问题；相对于变量平均值的较大标准偏差意味着可能存在离群值问题。事实上，在数据分析过程中检查数据范围和异常值是一种好习惯，这样可以避免由少数异常值引起的重大发现。表格中报告的变量的分布特征（例如均值，最小值和最大值）本身具有参考价值。例如，在一项关于CEO继任的研究中，测量变量——CEO继任类型的方法也可以说明从不同来源招募的样本中新CEO的分布。这些分布特性不仅描述了CEO继任现象，并且具有重要的实际意义。其次，在报告结果时，应该讲清楚分析的单位，样本量的大小和各个模型中用到的因变量，尤其是当上述信息因模型而异时。以Arthaud-Day, Certo, Dalton, and Dalton (2006)为例，他们研究了公司财务重述后的管理者更替现象。研究有4个因变量，包括CEO更替、CFO更替、外部董事更替、审计成员更替。研究使用“ CEO / CFO”作为分析单位构建数据，并使用Cox模型检验高管更替时间。CEO更替的模型样本量为485，CFO更替的模型样本量为407。相对的，在检查外部董事和审计委员会成员的更替时，由于Arthaud-Day和她的同事无法确定外部董事和审计委员会成员离任的月份，因此他们使用董事/审计委员会成员来构造数据，并以年作为分析单位，采用逻辑回归检验其更替的可能性。外部董事更替的模型样本量为2668，审计委员会成员更替的模型样本量为1327.其要点是，诸如Arthaud-Day和其同事提供的仔细描述有助于读者校准研究对结果的解释，并防止审稿人提出有关有待澄清的问题。
清晰性：结果部分的目的是回答已经提出的研究问题，并为假设提供实证证据（或缺乏证据的解释）。但我们时常看到，有些研究在结论讨论时未与之前的假设结合，我们还看到，一些作者在“Results”部分报告了结果，但在“Discussion”部分讨论了结果与假设的联系，或者相反地，一些作者过早地在“Results”中讨论了结果的应用和意义，而不是在“Discussion”部分进行这些讨论。上述的情况都未能明确地描述研究的主要结果。为避免此问题，在报告相关结果之前总结每个假设，建议的格式：Hypothesis X suggests that… We find that … in model… in table… Thus, Hypothesis X is (or isn't) Supported.尽管这样的格式看似机械化甚至有些无聊，但它的确是清晰地报告结果的有效方式。我们也鼓励和欢迎作者用新颖且清晰的方式报告结果。此外，我们建议：除非有特殊原因，结果的报告应与假设顺序一致。不管结果显著与否，假设是否得到支持，所有的结果都必须得到直白清晰的解释，而不要尝试掩盖；在结果中讨论变量的影响时也建议沿用方法中的变量陈述顺序。更进一步地，最好以相同的顺序跨节引用变量，例如，在“Method”部分使用表格描述不同变量的度量方式，并在“Results”部分按照之前变量解释的顺序讨论结果。诸如此类的一致性提高了描述的清晰度，不仅能帮助读者既遵循手稿的顺序又很容易地找到想要的信息，同时为作者提供了一个清单，提醒作者在文章的其他部分提供与列表上的变量相关的信息（例如，“Method”部分和/或相关系数矩阵中遗漏了模型中包含的某些变量）。
可信度：尽管文章的任何一部分都或多或少地影响着最后结论的可信度，但作者们仍然能够通过在“Result”部分的采取一些方法以提升读者对结论的感知可信度。首先，向读者解释为什么对结果的这种理解是正确的。例如，交互项的系数为负，则意味着正向关系的减弱或消失，甚至有正变负。绘制重要的交互作用的图将有助于结果的可视化，从而证明发现是否与预期假设一致。Aiken and West（1991）提供了关于在回归中绘制交互作用图的“黄金法则”。除此以外，确定斜率是否在统计学上显著对于结果是否完全支持假设的评估通常很重要， Preacher，Curran和Bauer（2006）开发的技术在这些计算中很有帮助。第二，如果存在可替代的度量方式、方法或者模型，但作者仅采用了其中的一种选择去报告结果，那么，读者有理由怀疑作者“筛选”了与假设相符的那些结果。补充分析和稳健性分析可以解决上述问题。例如，Tsai和Ghoshal（1998）研究了公司内部网络中业务部门职位对价值创造的作用。尽管他们在单个业务部门级别上提出了假设，他们还从二元数据中生成了多个业务部门属性的度量方式。这些步骤引起了人们对分析水平和结果可靠性的担忧。为了解决这些问题，他们进一步分析了二元水平的数据并获得了一致的结果。第三，即使结果在统计上显著，读者仍可能会问：那又如何？在统计上显著的结果并不一定代表在实践中具有价值。作者们通常会在“Discussion”部分讨论结果的实际意义，但实际上，也可以在“Result”部分适当讨论以表明结果的实践意义。Barnett and King，2008对溢出危害的研究中是个很好的例子。本文的假设1为：“一个公司的错误会损害同行业的其他公司”。除了报告预测变量的统计意义外，作者还提供了此类溢出的平均规模相关的信息。他们报告说：“在发生意外伤害平均人数（3.5）的事故之后，一家与事故发生在同一行业的化学公司的股票价格将会下降0.15％”，并且“发生员工死亡的事故，该公司的股票价格将会下降0.83％”。
picture from internet
本文结论：
虽然研究方法和结论在论文撰写的大工程中远称不上关键步骤，但我们认为这部分仍然是影响评审人的意见的重要因素。因此建议大家对此部分的写作要格外小心，可以借鉴的三个秘诀就是上述提到的3C原则，祝大家创作出更完整、更清晰、更可信的方法和结果！
Yan (Anthea) Zhang
Jason D. Shaw
参考文献：
Yan (Anthea) Zhang,Jason D. Shaw,2012, “From the Editors Publishing in AMJ——Part 5:Crafting the Methods and Results”, Academy of Management Journal, 10.5465/amj.2012.4001
翻译作者：唧唧堂 + MOR_
组织管理评论(MOR)旨在成为对中国和其他转型经济体情境下进行管理与组织研究的领先期刊。MOR是一本影响深远的多学科社会科学刊物，发表包括测试理论、发展本土理论、探索有趣的现象或研究问题，以及在经济转型的背景下再现先前研究的论文。MOR欢迎来自不同社会科学领域的论文，例如组织行为、组织理论、战略管理、经济学、经济地理、创新理论、人类学、政治学、跨文化和社会心理学，国际商务，社会学和制度理论等。
唧唧堂学术管理分享平台，更好的学术阅读与写作！其微信公众号每日推送心理学、管理学、经济学、金融学等学科最新最热论文解读，运营7年，发表原创文章近3000篇！期待更多研究人加入我们线上阅读及写作小组，一起发现更多好论文，传播更多好内容!
推荐
订阅
扫码订阅
搜索关注“小鹅知识助手”服务号
一秒进入导读单与小社群