市场调查中的信度和效度分析原理及python实现示例

1.量表信度分析

市场调查中量表的信度是指测量工具（例如问卷调查或评价表）稳定且一致地衡量被研究对象的特征或概念的程度。信度是评估一个量表是否可靠的重要指标，它告诉我们在不同时间和不同情境下，同一被试者或对象得到相似的得分。以下是市场调查中常用的量表信度测量方法：

• 重测信度（Test-Retest Reliability）：通过在两个不同时间点对同一群体进行两次测量来评估信度。如果两次测量的得分高度相关，那么量表的重测信度就较高。时间间隔越短，相关性通常越高。

• 分裂半信度（Split-Half Reliability）：将量表的各项分成两部分，然后计算这两部分的得分之间的相关性，通常使用皮尔逊相关系数。这可以通过不同的方法实现，如将奇数项与偶数项分开或者随机分组。如果两部分得分高度相关，那么量表的分裂半信度就较高。

• 内部一致性信度（Internal Consistency Reliability）：用于评估量表内各项之间的一致性。最常见的内部一致性信度测量方法是克朗巴赫α系数（Cronbach’s Alpha）。该系数测量了量表中各项之间的相关性，通常在0到1之间，较高的值表示较高的内部一致性。

• 平行测试信度（Parallel Forms Reliability）：创建两个等效的量表，然后分别对同一群体进行测量。如果这两个等效量表的得分高度相关，那么量表的平行测试信度就较高。

• 稳定性信度（Stability Reliability）：评估在不同情境下，同一群体的得分是否稳定。这可以通过在不同情境下进行测量来实现，然后计算相关性。

• 等级一致信度（Inter-rater Reliability）：适用于多个评估者对同一对象进行评估的情况。通过计算不同评估者的得分之间的一致性来评估信度，通常使用的统计方法包括Kappa系数或内类相关系数。

  在市场调查中，通常会使用上述其中一种或多种方法来评估量表的信度，以确保所收集的数据可靠且一致。每种方法都有其适用的场景，研究者需要根据具体的研究设计和测量工具选择合适的信度测量方法。此外，还应该关注样本大小和测量工具的内容有效性，因为这些因素也可以影响信度的结果。

1.1 内部一致性信度：克朗巴赫α系数原理

1.2 python实现示例

import numpy as np
import pandas as pd

# 创建一个虚拟的问卷数据集
np.random.seed(0)#设置随机数种子，以确保生成的随机数可重复。

num_items = 5#表示问卷中的问题（项）数量，此处设置为K=5。
num_participants = 100#表示参与者或被调查者的数量，此处设置为100。

data = np.random.randint(1, 6, size=(num_participants, num_items))#生成一个虚拟的问卷数据集，其中问题的得分在1到5之间，使用randint函数生成随机整数
df = pd.DataFrame(data, columns=['Item1', 'Item2', 'Item3', 'Item4', 'Item5'])

# 计算Cronbach's Alpha系数

def calculate_cronbach_alpha(data):
    # data是一个DataFrame，每一列代表一个问题（项）
    N = data.shape[0]  # 参与者的数量
    K = data.shape[1]  # 问题（项）的数量
    
    # 计算每个问题的方差
    item_variances = data.var(ddof=1)
    
    # 计算问题之间的协方差总和
    cov_sum = 0
    for i in range(K):
        for j in range(i + 1, K):
            cov_ij = data.iloc[:, i].cov(data.iloc[:, j])
            cov_sum += cov_ij
    
    # 计算Cronbach's Alpha系数
    cronbach_alpha = (K / (K - 1)) * (1 - (item_variances.sum() / (item_variances.sum() + cov_sum)))
    
    return cronbach_alpha

cronbach_alpha = calculate_cronbach_alpha(df)
print("模拟数据的Cronbach's Alpha系数：", cronbach_alpha)

2.量表效度分析

量表效度分析是用于评估量表（问卷）的有效性和准确性的过程，通常包括以下几个方面的分析：

• 内容效度：内容效度是指量表中的各个问题（项）是否合理地代表了要测量的概念或领域。内容效度的评估可以通过专家评审、文献回顾、访谈、焦点小组讨论或统计分析等方法来进行。

• 结构效度：结构效度是指量表的内部结构是否合理，包括维度结构、因子结构等。结构效度的分析通常涉及因子分析、验证性因子分析、探索性因子分析等方法，以确定问题（项）之间的关联性和量表的结构。

• 判定效度：判定效度是指量表是否能够有效地区分不同群体或状况。例如，一个心理健康问卷应该能够有效地区分患有心理问题的人群和没有心理问题的人群。

• 收敛效度：收敛效度是指量表中的不同问题（项）是否在测量相同的概念或构建。通过计算各问题之间的相关性来评估收敛效度，通常应该存在较高的相关性。

• 区分效度：区分效度是指量表中的问题（项）与其他不相关的概念或构建之间的相关性较低。它用于确保量表不会误测其他未关注的因素。

• 外部效度：外部效度是指量表的得分与其他已知测量工具或标准的相关性。例如，一个抑郁症问卷的得分与医生诊断的抑郁症状的相关性。

• 预测效度：预测效度是指量表的得分是否能够预测未来的行为或结果。例如，一个学术成绩问卷的得分是否能够预测学生的考试成绩。

• 内部一致性：虽然通常不是效度的一部分，但内部一致性分析是评估量表的信度的重要步骤。内部一致性指量表中的问题（项）是否在测量相同的概念时保持一致。Cronbach’s Alpha系数是常用来评估内部一致性的统计指标。

要进行量表效度分析，通常需要收集大量的数据并使用统计分析方法来评估各种效度类型。分析的方法会根据研究问题、领域和量表的特性而变化。效度分析通常需要多个方法和数据来源的结合，以全面评估量表的有效性。

2.1 内容效度

2.1.1 原理

统计分析法用于评估内容效度的方法通常包括计算每个题项得分与总分的相关系数，也被称为内容效度系数（Item-Total Correlation）。该系数用于判断单个题项与整个量表总和得分之间的相关性，从而评估题项是否在内容上有效。以下是这种方法的详细解释和步骤：

步骤1：生成量表数据

首先，收集或生成量表数据，其中包括多个题项和多个参与者的得分。假设我们有一个包含$N$个参与者和K个题项的量表数据，用矩阵表示为X，其中$X_{ij}$代表第$i$个参与者对第$j$个题项的得分。

步骤2：计算总分

对于每个参与者$i$，计算其总分（Total Score），通常是将其对所有题项的得分相加：

$TotalScor{e}_i=\Sigma (X_{ij})forj=1toK$

步骤3：计算题项得分与总分的相关系数

对于每个题项j，计算它与总分的皮尔逊相关系数（或斯皮尔曼秩相关系数）：

$Correlatio{n}_j=corr(X_{ij},TotalScore)forj=1toK$

这个相关系数衡量了单个题项与总分之间的线性关系。它的取值范围在-1到1之间，负值表示负相关，正值表示正相关，0表示没有线性相关性。

步骤4：显著性检验

对于每个相关系数Correlation_j，进行显著性检验，通常使用t检验来判断是否显著不同于零。假设检验的零假设是题项与总分之间没有相关性：

• $H_0:Correlatio{n}_j=0$
• $H_1:Correlatio{n}_j\ne 0$

计算相关系数的t值：

$t_j=(Correlatio{n}_j\ast sqrt(N-2))/sqrt(1-Correlatio{n}_j^2)$

根据t值和自由度(N-2)可以计算p-value。如果p-value小于设定的显著性水平（通常使用0.05），则拒绝零假设，表示该题项的相关系数显著不同于零，即在内容上有效。

步骤5：总体评估

综合所有题项的相关系数显著性检验结果，可以判断整个量表的内容效度是否有效。通常，如果大多数题项的相关系数显著不同于零，且相关系数具有一定的大小（通常0.3或0.4以上），则可以认为量表在内容上有效。

综上所述，这种方法通过计算每个题项与总分的相关系数以及相关系数的显著性检验，来评估量表的内容效度。显著性检验有助于确定哪些题项在内容上有效，而总体评估则有助于判断整个量表的内容效度是否达到预期的水平。这个方法通常需要在量表设计和数据分析中使用，以确保量表能够准确反映要测量的概念或领域。

2.1.2 python实现示例

import numpy as np
import pandas as pd
from scipy import stats

# 设置随机数种子以获得可重复的结果
np.random.seed(0)

# 创建一个模拟的5个问题的量表，共100个参与者
num_items = 5
num_participants = 100

# 生成随机模拟数据（假设高分代表更高的概念）
data = np.random.randint(1, 6, size=(num_participants, num_items))

# 转换为Pandas DataFrame
df = pd.DataFrame(data, columns=[f'Item{i+1}' for i in range(num_items)])

# 步骤1：计算每个问题（项）的总分
df['Total_Score'] = df.sum(axis=1)

# 步骤2：确保问题（项）的得分方向一致，这里假设高分代表更高的概念，所以无需调整。

# 步骤3：计算每个问题（项）的内容效度系数（Item-Total Correlation）
item_total_correlations = {}
for item in df.columns[:-1]:  # 最后一列是总分，不计算
    correlation, p_value = stats.pearsonr(df[item], df['Total_Score'])
    item_total_correlations[item] = {'Correlation': correlation, 'p-value': p_value}

# 步骤4：显著性判断
alpha = 0.05  # 显著性水平
significant_items = []

for item, values in item_total_correlations.items():
    if values['p-value'] < alpha:
        significant_items.append(item)

# 步骤5：总体评估
threshold = 0.3  # 内容效度系数的阈值

content_valid_items = [item for item in significant_items if item_total_correlations[item]['Correlation'] > threshold]

if len(content_valid_items) >= (0.7 * num_items):  # 设置总体内容效度的阈值
    content_valid = True
else:
    content_valid = False

# 打印结果
print("模拟数据：")
print(df.head())

print("\n内容效度系数：")
for item, values in item_total_correlations.items():
    print(f"{item}: Correlation = {values['Correlation']:.2f}, p-value = {values['p-value']:.4f}")

print("\n显著的问题（项）：", significant_items)
print("\n总体内容效度是否有效：", content_valid)

2.2 准则效度

2.2.1 原理

准则效度又称为效标效度，是根据已经得到确定的某种理论，选择一种指标或量表作为准则即效标，计算量表得分与准则间的相关系数，用于评估一个量表（或测量工具）与一个已被确定为准则的变量之间的关联程度，这种相关系数被称为准则效度系数。根据准则效度系数的大小判断所采用量表与准则之间的一致性程度，一致性程度越高，说明所采用量表的效度越高；反之，则越低。准则效度分为两种主要类型：预测效度和同时效度。

1. 预测效度：

   • 预测效度是指一个准则变量的未来值可以通过当前量表的测量来预测的程度。这意味着当前量表可以用来预测未来的行为、结果或变量。
   • 通常，预测效度的评估涉及收集当前量表的测量数据，然后与未来测量或观察到的准则变量进行比较，以确定它们之间的关联性。
   • 例如，一个心理健康测量工具可能被用来预测未来的抑郁症症状的严重程度。如果测量工具的分数与未来抑郁症症状的严重程度高度相关，那么它具有预测效度。

2. 同时效度：

   • 同时效度是指当前量表与准则量表在同一时点上，对所测概念进行测量的结果之间的相关程度。这种相关性可以用来验证当前量表的测量结果是否与准则量表一致。
   • 通常，同时效度的评估涉及在同一时间点上，同时使用当前量表和准则量表对受试者进行测量，然后计算它们之间的相关系数。
   • 例如，一个新开发的智力测验可以与一个已被广泛认可的标准智力测验同时进行，以验证它们之间的一致性。

评估准则效度的目标是确定当前量表是否能够准确地测量所研究的概念或属性，并与已被确定为准则的变量相关联。较高的准则效度表明量表具有更高的效度，可以更准确地预测或测量目标变量。准则效度评估是量表开发和验证过程中的重要步骤，有助于确保量表的有效性和可靠性。

2.2.2 python实现示例

import numpy as np
import pandas as pd
from scipy import stats

# 设置随机数种子以获得可重复的结果
np.random.seed(0)

# 生成模拟数据
n = 100  # 样本大小
x = np.random.rand(n)  # 假设x是当前量表的测量结果
y = x + np.random.randn(n)  # 假设y是准则变量的未来值，具有一定的随机性

# 创建DataFrame来存储数据
data = pd.DataFrame({'Current_Score (X)': x, 'Criterion_Variable (Y)': y})

# 步骤1：计算预测效度的Pearson相关系数
predictive_corr, _ = stats.pearsonr(x, y)
print(f"预测效度的Pearson相关系数：{predictive_corr:.2f}")

# 步骤2：计算同时效度的Pearson相关系数
concurrent_corr, _ = stats.pearsonr(x, x)  # 这里假设x与自身同时测量
print(f"同时效度的Pearson相关系数：{concurrent_corr:.2f}")

2.3 结构效度

2.3.1 原理

结构效度也称为构造效度，是指测量结果体现出来的某种结论与关于所测属性的理论命题之间的对应程度。关注的是量表对研究假设的证实程度。
结构效度的评价可以从两个角度进行，一个是收敛效度，另一个是区别效度。收敛效度是指用来测量同一结构的不同量表之间的相关程度，相关程度越高，收敛效度越高；区别效度是指利用相同的量表测量不同的概念或特征之间的相关程度，相关程度越低，区别效度越高。
结构效度的评价可以采用因子分析法和结构方程法。
探索性因子分析是基于数据统计分析基础，只考虑到数据之间的纯数字特征而没有任何的理论前提，目的在于从数据出发，寻找数据中所蕴藏的规律。如果市场调查中的研究假设不确定或根本就没有现成的研究假设，这时可以通过预调查收集数据，利用探索性因子分析构建研究假设。
以下是结构效度的原理和关键概念：

• 内部结构一致性：结构效度的核心原理是测量工具的内部结构是否与理论或概念模型一致。具体来说，测量工具的各项（题项）应该在概念上相关联，并且测量工具的因子结构应该与理论模型或研究者的概念化一致。

• 因子分析：结构效度的评估通常使用因子分析等多元统计方法。因子分析可以帮助确定测量工具的因子结构，即哪些题项在一个因子下相关联，以及这些因子之间的关系如何。

• 探索性因子分析（EFA）和验证性因子分析（CFA）：EFA用于发现数据中的潜在因子结构，而CFA用于验证先前提出的因子结构是否符合观察数据。CFA通常基于先验假设进行建模，因此更适合测试先前提出的理论模型的结构效度。

• 因子负荷：在因子分析中，因子负荷表示每个题项与因子之间的关系强度。高因子负荷表示题项与因子之间的关联性更强。

• 公共性：公共性（communality）是指每个题项的方差与因子之间的共享程度。高公共性表示题项的变异性较大程度上由因子解释，低公共性表示题项的变异性不能很好地由因子解释。

• 模型拟合度：在CFA中，模型拟合度指的是理论模型与观察数据之间的一致程度。合适的模型拟合度表明测量工具的内部结构与理论模型一致，从而支持结构效度。

• 因子交叉载荷：在CFA中，因子交叉载荷表示一个题项是否与多个因子相关联，这可能表明测量工具的因子结构不够清晰。

• 修正模型：如果初始CFA模型的拟合度不佳，可以进行模型修正，包括添加或删除因子，修改因子间关系等，以改善结构效度。

总之，结构效度的原则是确保测量工具在内部结构上与概念模型一致，以保证测量工具的有效性。这需要使用因子分析等统计方法来检验内部结构，并根据数据和理论进行适当的修正。结构效度评估通常是量表开发和验证的重要步骤，以确保测量工具能够准确地测量所研究的概念或属性。

2.3.2 python实现示例

import numpy as np
import pandas as pd

# 设置随机数种子以获得可重复的结果
np.random.seed(0)

# 创建一个模拟数据集，包含两个潜在因子和多个题项
n = 200  # 样本大小
latent_factor1 = np.random.normal(0, 1, n)
latent_factor2 = np.random.normal(0, 1, n)
item1 = 0.7 * latent_factor1 + 0.3 * latent_factor2 + np.random.normal(0, 0.1, n)
item2 = 0.8 * latent_factor1 + 0.2 * latent_factor2 + np.random.normal(0, 0.1, n)
item3 = 0.2 * latent_factor1 + 0.6 * latent_factor2 + np.random.normal(0, 0.1, n)
item4 = 0.3 * latent_factor1 + 0.7 * latent_factor2 + np.random.normal(0, 0.1, n)

# 创建DataFrame来存储数据
data = pd.DataFrame({'Factor1': latent_factor1, 'Factor2': latent_factor2, 'Item1': item1, 'Item2': item2, 'Item3': item3, 'Item4': item4})

# 显示前几行数据
print(data.head())

上述代码生成了一个包含两个潜在因子（Factor1和Factor2）和多个题项（Item1到Item4）的模拟数据集。

接下来，让我们使用因子分析来评估结构效度的收敛效度和区别效度：

from factor_analyzer import FactorAnalyzer

# 创建因子分析对象
fa = FactorAnalyzer(n_factors=2, rotation=None)  # 假设有两个潜在因子

# 提取题项的因子负荷
fa.fit(data[['Item1', 'Item2', 'Item3', 'Item4']])
item_loadings = fa.loadings_

# 打印题项的因子负荷
print("题项的因子负荷：")
print(item_loadings)

# 提取潜在因子的因子负荷
fa.fit(data[['Factor1', 'Factor2']])
factor_loadings = fa.loadings_

# 打印潜在因子的因子负荷
print("潜在因子的因子负荷：")
print(factor_loadings)

在上述代码中，使用了factor_analyzer库进行因子分析。首先提取了题项（Item1到Item4）的因子负荷，以评估结构效度的收敛效度。然后，提取了潜在因子（Factor1和Factor2）的因子负荷，以评估结构效度的区别效度。

通过观察因子负荷矩阵，可以评估题项与潜在因子之间的相关性，以及不同题项之间的相关性。较高的因子负荷表示较强的相关性。这些结果可用于评估结构效度的收敛效度和区别效度。

3.量表信度与效度分析的关系

量表的信度和效度分析都是用于评估量表质量和可信度的重要步骤，但它们关注的方面略有不同：

1. 信度分析：

   • 信度是指量表的稳定性和一致性，也就是在重复测量时是否能够得到相似的结果。
   • 信度分析关注的是量表内部的一致性，通常通过测量工具的内部一致性系数（如Cronbach’s Alpha、Kuder-Richardson等）来评估。
   • 信度分析用于确保量表在不同时间、不同测量者、不同条件下的得分具有高度一致性，以保证测量结果的可靠性。

2. 效度分析：

   • 效度是指量表是否能够测量所研究的概念或属性，也就是测量工具是否有效。
   • 效度分析关注的是量表的外部有效性，即测量结果与其他相关变量的关系是否符合理论或研究假设。
   • 效度分析包括内容效度、准则效度、结构效度等不同类型，用于评估测量工具是否能够有效地反映所研究的概念。

联系：

• 信度是效度的一个组成部分。在评估效度时，首先需要确保测量工具具有高信度，即测量结果在内部是一致的，然后才能进一步考虑测量工具的效度。
• 信度分析通常是效度分析的一部分，因为信度分析可以帮助确定量表内部的一致性，这对于后续的效度分析非常重要。
• 信度不足的量表可能会导致效度降低，因为如果量表在不同测量下的得分不一致，那么它很难在外部有效性方面表现出良好的结果。

综上所述，一份好的量表，应同时具有较高的信度与效度。信度是效度的必要条件，但不是充分条件。一份量表要有效度，首先必须有信度，没有信度就不会有效度，但是有了信度但不一定有效度。信度低，效度不可能高。信度高，效度未必高。效度低，信度很可能高；效度高，信度必然高。