Shapiro-Wilk正态性检验(Shapiro和Wilk于1965年提出)

Shapiro-Wilk正态性检验是一种用于确定数据集是否服从正态分布的统计方法。它基于Shapiro和Wilk于1965年提出的检验统计量。以下是其基本原理和用途：

基本原理：

1. 零假设（Null Hypothesis）：Shapiro-Wilk检验的零假设是数据集来自于正态分布。这意味着，如果数据确实服从正态分布，则零假设成立。

2. 计算Shapiro-Wilk统计量：检验首先计算Shapiro-Wilk统计量，这是一个衡量数据与正态分布拟合的度量。该统计量基于数据的观察值和正态分布的期望值之间的差异。

3. 与临界值比较：接下来，Shapiro-Wilk统计量与临界值进行比较。临界值是根据所选的显著性水平（通常为5%）和数据集的大小计算得出的。如果Shapiro-Wilk统计量小于临界值，就意味着数据不太可能来自于正态分布。

4. 做出决策：根据统计量与临界值的比较，可以决定是否拒绝零假设。如果统计量足够小，小于临界值，通常会拒绝零假设，这意味着数据不服从正态分布。否则，不能拒绝零假设，这表示数据可能服从正态分布。

用途：

1. 数据分布检查：Shapiro-Wilk检验可用于验证数据是否符合正态分布的假设。这对于许多统计分析和模型建立的前提非常重要，因为许多统计方法都要求数据服从正态分布。

2. 质量控制：在制造业和质量控制中，Shapiro-Wilk检验可以用来检查生产过程是否产生了正态分布的输出。如果不是，可能需要采取措施来改进过程。

3. 金融分析：在金融领域，正态分布假设经常用于分析资产价格变动。Shapiro-Wilk检验可以用来验证这种假设的有效性。

4. 生物统计学：在生物统计学中，研究人员可能使用Shapiro-Wilk检验来确定生物数据是否遵循正态分布，例如基因表达数据或生物测量数据。

总之，Shapiro-Wilk正态性检验是一种常用的统计工具，可用于验证数据是否符合正态分布的假设，从而支持各种领域的分析和决策。它在小样本情况下的效力较高，适用于许多统计问题。

from scipy import stats
import numpy as np

# 创建一个示例数据集（这里使用正态分布数据）
data = np.random.normal(0, 1, 100)

# 执行Shapiro-Wilk正态性检验
statistic, p_value = stats.shapiro(data)

# 输出检验结果
print("Shapiro-Wilk统计量:", statistic)
print("p-value:", p_value)

# 根据p-value做出决策
alpha = 0.05  # 显著性水平
if p_value > alpha:
    print("不能拒绝零假设，数据可能服从正态分布")
else:
    print("拒绝零假设，数据不服从正态分布")

 

Shapiro-Wilk正态性检验对检验样本大小有一定的要求。具体来说，Shapiro-Wilk检验在样本大小较小（通常小于大约50-200，具体取决于不同文献和实践）时可能不太适用，并且在这种情况下其效力可能会降低。这是由于统计检验的性质和假设。

主要的考虑因素包括：

1. 统计性能：Shapiro-Wilk检验在大样本下通常具有较好的统计性能，可以较好地检测到数据的偏离正态分布的情况。但是在小样本下，其性能可能较差，可能无法可靠地识别非正态性。

2. 假设的严格性：Shapiro-Wilk检验对于样本大小的要求与其检验假设的严格性有关。较小的样本容易受到偶然因素的影响，从而影响检验的结果。

3. 显著性水平：样本大小较小时，为了达到一定的显著性水平，需要更大的统计效力。这可能需要更严格的判定标准，从而增加了拒绝零假设的难度。

如果你的样本较小，而且需要进行正态性检验，可以考虑使用其他方法，如观察Q-Q图、直方图、小样本正态性检验（如Shapiro-Francia检验），或者考虑非参数统计方法，这些方法在小样本情况下可能更适合。此外，正态性检验通常应与领域知识和问题的背景结合使用，而不应仅仅依赖于统计检验的结果。