《CDA-LEVEL-II考试大纲》解读--PART 4 统计分析

PART 4 统计分析

1、抽样估计

【领会】
随机试验、随机事件、随机变量的概念；
总体与样本的概念；
抽样估计的理论基础；
正态分布及三大分布的函数形式和图像形式；
抽样的多种组织形式；
确定必要样本容量的原因；
大数定律与中心极限定理的意义与应用。
【熟知】
随机事件的概率；
抽样平均误差的概念与数学性质；
点估计与区间估计方法的特点与优缺点；
全体总体与样本总体；
参数和统计量；
重复抽样与不重复抽样；
抽样误差的概念对总体平均数、总体成数和总体方差的区间估计方法 ；
必要样本容量的影响因素。
【应用】
随机变量及其概率分布；
抽样平均误差在实际数据分析中的计算方法。

1.1、领会内容

1.1.1、随机试验&随机事件&随机变量

1. 随机试验：具有随机性质的试验，可以描述其可能的结果，但无法预测具体结果。

2. 随机事件：随机试验中的某一结果，例如掷一枚硬币，正面朝上或反面朝上的事件。

3. 随机变量：随机试验中可以用数值表示的某个随机事件的取值，例如掷骰子得到的点数。

1.1.2、总体&样本

总体是指所研究的全部个体或事物的集合，样本是从总体中抽取的一部分个体或事物的集合。

1.1.3、抽样估计

抽样估计是一种通过从总体中随机抽取样本来估计总体特征的方法。其理论基础是概率论和数理统计学。

1.1.4、正态分布及三大分布的函数形式和图像形式；

正态分布是一个连续的概率分布，以钟形曲线表示；三大分布指二项分布、泊松分布和指数分布，其函数形式和图像形式也分别不同。

1.1.5、抽样的多种组织形式

抽样可以采用随机抽样、系统抽样、分层抽样等多种组织形式。

1.1.6、确定必要样本容量原因

为了保证抽样估计的精度，需要确定必要的样本容量，这通常由样本均值的标准误差、置信水平和置信区间的宽度来决定。

1.1.7、大数定律&中心极限定理

大数定律是指随着试验次数的增加，样本均值越来越接近总体均值；中心极限定理则说明在一定条件下，样本均值的分布趋近于正态分布。这些定理在抽样估计和统计推断中具有重要的应用。

1.2、熟知内容

1.2.1、随机事件的概率

随机事件的概率是指在某个随机试验中，某个事件发生的可能性大小。概率的取值范围是0到1之间，0表示不可能发生，1表示一定会发生。使用数学符号表示为 P(A)。

概率的计算公式为：P(A) = 发生A的情况数 / 所有情况数

其中，“发生A的情况数”指的是满足事件A的条件的情况个数，“所有情况数”指的是随机试验中所有可能出现的情况个数。

例如，掷一枚骰子，事件A为掷出3点的概率，发生A的情况数为1（即掷出3点），所有情况数为6（骰子的6个面），因此P(A) = 1/6 = 0.1667。

1.2.2、抽样平均误差的概念与数学性质

抽样平均误差（Sample Mean Error，SME）是用样本均值估计总体均值时所引入的误差，是样本均值与总体均值之间的差异。其计算公式为：

                              SME = x̄ - μ
          其中，x̄表示样本均值，μ表示总体均值。

抽样平均误差的数学性质如下：

• 抽样平均误差的期望为零。

E(SME) = E(x̄ - μ) = E(x̄) - E(μ) = μ - μ = 0

• 抽样平均误差的方差等于总体方差除以样本容量。

Var(SME) = Var(x̄ - μ) = Var(x̄) + Var(μ) - 2Cov(x̄, μ) = σ²/n

其中，Var(x̄)表示样本均值的方差，Var(μ)表示总体均值的方差，Cov(x̄, μ)表示样本均值与总体均值的协方差，σ²表示总体方差，n表示样本容量。

• 抽样平均误差与样本容量成反比，即样本容量越大，抽样平均误差越小。
• 抽样平均误差的分布近似服从正态分布，特别是对于足够大的样本容量，根据中心极限定理可以近似为正态分布。

1.2.3、点估计与区间估计方法的特点与优缺点

点估计和区间估计是统计学中两种常用的参数估计方法，它们各有特点和优缺点，具体如下：

类别	点估计	区间估计
特点	点估计是通过对样本统计量进行计算，得出总体参数的估计值，并将其表示为一个点。这种方法简单、直观，易于理解和使用	区间估计是通过样本统计量得到参数区间范围的估计方法，表示某个参数的取值可能在一定的区间范围内，而不只是单个点
优点	点估计方法计算简单，结果易于解释和使用。对于样本量较大的情况下，点估计的精度也较高	区间估计考虑了样本的误差和总体参数分布的不确定性，因此其估计结果更加准确和可靠
缺点	点估计没有考虑抽样误差和总体参数的分布情况，因此其估计结果可能存在偏差，精度较低	区间估计通常需要更多的统计计算，对于样本量较小的情况下，估计结果的置信度较低

综上所述，点估计和区间估计各有优缺点，根据不同的应用场景和数据情况选取合适的估计方法，能够更好地解决实际问题。

1.2.4、全体总体与样本总体

全体总体是指一个完整的、包含所有可能的个体的总体，而样本总体则是指从全体总体中抽取出来的一部分。在统计学中，我们通常使用样本总体来研究全体总体的性质和特征，因为从全体总体中抽取一个较小的样本总体进行分析更为方便和经济。因此，样本总体的选取和抽样方法很重要，需要尽可能地保证样本总体的代表性和可靠性。通过对样本总体的研究和分析，我们可以推断出全体总体的性质和特征。

1.2.5、参数和统计量

参数和统计量是统计学中的两个重要概念。
参数是用来描述总体特征的数值，例如总体均值、总体方差等等。总体是指研究对象的全部个体或全部物品，但是总体往往很大，难以获取全部数据，因此我们只能通过从总体中抽取一部分个体或物品，通过对这些个体或物品数据的分析来推断总体的特征。这部分个体或物品称为样本。通过对样本数据的分析，我们可以得到很多统计量，比如样本均值、样本标准差等等。
统计量是用来描述样本特征的数值。在推断总体特征时，我们通常会使用统计量来近似描述总体特征。因此，我们需要通过样本数据得到关于总体的信息，这个过程就是统计推断。通过统计推断可以得到总体的参数估计，比如总体均值的估计、总体方差的估计等等。

1.2.6、重复抽样与不重复抽样

重复抽样是指从总体中选择一个样本后，再将所选中的样本放回总体中，使得每个样本被选中的概率相同，然后再进行下一次的抽样。在重复抽样中，可能会有同一个样本被多次选择的情况出现。
不重复抽样是指从总体中选择一个样本后不将其放回总体中，而是将其从总体中剔除，使得后续的抽样不会再选择已经被选中的样本。在不重复抽样中，每个样本只会被选择一次。

1.2.7、抽样误差的概念

抽样误差是指从样本中得出的统计数据与总体真实值之间的差异。它是由于研究者采用抽样方法来代表总体时所带来的不确定性，也称为抽样偏差。

抽样误差的大小取决于多种因素，例如样本大小、样本选取方式、总体变异性等。当样本数量越大、样本选取方式越科学、总体变异性越小时，抽样误差也会越小。抽样误差的大小可以用统计学方法来估计和控制，例如计算置信区间和进行假设检验等。

1.2.8、对总体平均数、总体成数和总体方差的区间估计方法

对于总体平均数、总体成数和总体方差的区间估计方法，通常使用以下方法：

• 总体平均数的区间估计：使用样本平均数和标准误差（标准差除以样本大小的平方根）的乘积来构建置信区间，其中，置信水平和自由度决定了置信区间的宽度。如果总体的分布未知，则可以使用t分布来计算置信区间。
• 总体成数的区间估计：使用样本成数和二项分布的标准误差来构建置信区间。与总体平均数不同，总体成数的置信区间宽度不受自由度的影响，而是取决于置信水平和样本大小。
• 总体方差的区间估计：使用卡方分布来计算总体方差的置信区间。需要知道样本方差和自由度，自由度等于样本大小减1。置信区间的宽度取决于置信水平和自由度。

以上这些方法可以应用于大多数情况下的总体估计，但也有一些特例，比如小样本问题和非正态分布的问题，需要使用不同的方法进行估计。

1.2.9、确定必要样本容量的影响因素。

确定必要样本容量的影响因素包括以下几个方面：

• 研究目的：研究目的不同，所需样本容量也不同。比如，如果研究的是一个稀有疾病，那么所需的样本容量就要比研究常见疾病所需的样本容量更大。
• 效应大小：效应大小指的是研究中所关注的变量之间的差异或关联程度的大小。如果效应大小越小，那么所需的样本容量就越大。
• 显著性水平：研究中通常会设定一个显著性水平，用于确定研究结果是否具有统计学意义。如果所设显著性水平越小，那么所需的样本容量也就越大。
• 统计方法：不同的统计方法所需的样本容量也不同。某些统计方法可能需要更大的样本容量才能获得可靠的结果。
• 数据收集方式：数据收集方式也会影响所需的样本容量。如果数据的收集方式比较复杂或难以获取，那么所需的样本容量就可能会更大。

1.3、应用内容

1.3.1、随机变量及其概率分布

随机变量是指一个随机试验中的结果，它可以是一个数值、一个向量、一个函数等等。随机变量可以分为离散型和连续型两类。

类型	内容
离散型随机变量	取值是有限个或者可数的无限个。例如，掷骰子得到的点数、抽取球的颜色等等都是离散型随机变量。
连续型随机变量	取值是在某个区间内的任意实数。例如，测量某人的身高、某地区的气温等等都是连续型随机变量。

每个随机变量都有一个概率分布，它描述了随机变量取某个值的可能性大小。概率分布可以分为离散概率分布和连续概率分布两类。

对于离散概率分布，它可以用**概率质量函数（Probability Mass Function, PMF）**来描述，即：

$$P(X=x_i)=p_i,i=1,2,\cdots ,n$$
其中，$X$为随机变量，$x_i$ 表示随机变量 $X$ 取值为 $x_i$ 的概率，$p_i$ 表示随机变量 $X$ 取值为 $x_i$ 的概率。

对于连续概率分布，它可以用**概率密度函数（Probability Density Function, PDF）**描述，即：

$$f_X(x)$$
其中，$X$为随机变量，$f_X(x)$ 表示随机变量 $X$ 在 $x$ 处取值的概率密度。

无论是离散概率分布还是连续概率分布，它们都必须满足以下条件：

$$\sum _{i=1}^n{p}_i=1\text{或}{\int }_{-\infty }^{+\infty }{f}_X(x)dx=1$$

这个条件保证了所有可能性的总和为 1。

在实际应用中，我们可以根据问题的具体场景和需要选择合适的概率分布来描述随机变量的概率分布。常见的概率分布包括二项分布、正态分布、泊松分布、均匀分布等等。

1.3.2、抽样平均误差的计算方法

抽样平均误差（Sampling Mean Error）是指由于样本选取的随机性，导致样本平均值与总体平均值之间存在偏差的情况。在实际数据分析中，计算抽样平均误差的方法如下：

1. 首先从总体中随机抽取一定数量的样本，然后计算出样本的平均值。
2. 接着，计算出总体的平均值。
3. 最后，用样本平均值减去总体平均值，即可得到抽样平均误差。

公式如下：

Sampling Mean Error = Sample Mean - Population Mean
其中，样本平均值可以通过样本的加权平均值来计算，总体平均值可以通过总体的加权平均值来计算。

需要注意的是，抽样平均误差大小与样本的大小、样本的选取方式、总体的分布等因素都有关系。因此，在进行数据分析时，需要综合考虑多种因素来评估抽样平均误差。

2、假设检验

【领会】
假设检验的基本概念；
其基本思想在数据分析中的作用；
假设检验的基本步骤；
假设检验与区间估计的联系；
假设检验中的两类错误。
【熟知】
检验统计量、显著性水平及对应临界值（Critical Value）的基本定义；
P 值的含义及计算；
如何利用 P 值进行检验；
z 检验统计量；
t 检验统计量；
F 检验统计量；
χ2检验统计量的函数形式和检验步骤。
【应用】
实现单样本 t 检验；
两独立样本 t 检验的步骤和检验中使用的统计量与原假设；
两种检验应用的数据分析场景。

2.1、领会内容

2.1.1、假设检验的基本概念

假设检验是一种用于检验某个假设是否成立的统计方法。具体地说，假设检验是在给定样本数据的条件下，针对总体参数提出一个关于总体参数的假设，然后根据样本数据来决定是否拒绝这个假设。

假设检验通常分为两类，即参数假设检验和非参数假设检验。参数假设检验是指当总体分布已知时，对于总体参数的假设进行检验；非参数假设检验是指当总体分布未知时，对于某些统计量的假设进行检验。

2.1.2、假设检验的作用

通过假设检验，我们可以对某个假设进行科学的检验，从而评估该假设的合理性。假设检验也是进行统计推断（如总体均值、总体比例等）的一种重要方法。

2.1.3、假设检验基本步骤

1. 设置假设
在开始进行假设检验之前，需要确定待检验的假设。通常将待检验的假设称为原假设（H0），将与原假设相反的假设称为备择假设（H1）。
2. 选择检验统计量
在进行假设检验之前，需要选择一个适当的检验统计量以评估原假设的合理性。检验统计量是样本观察值的函数，通常是样本均值、样本比例等。
3. 设定显著性水平
显著性水平是指在原假设成立的前提下，出现拒绝原假设的概率。通常将显著性水平设为0.05或0.01。
4. 计算p值
p值是指在原假设成立的前提下，观察到检验统计量比当前样本数据更极端的概率。p值越小，说明拒绝原假设的证据越充分。
5. 判断结论
根据p值与显著性水平的比较，判断是否拒绝原假设。如果p值小于显著性水平，就拒绝原假设；如果p值大于等于显著性水平，则不能拒绝原假设。

2.1.4、假设检验与区间估计

区间估计是另一种常用的统计推断方法，它通过构造一个置信区间来估计总体参数的范围。与假设检验不同，区间估计并不是通过判断是否拒绝原假设来达到推断的目的，而是通过对总体参数的范围进行限制来实现推断。不过，假设检验和区间估计都是统计推断的方法，可以相互印证。例如，如果假设检验拒绝了原假设，区间估计的置信区间也很可能不包含原假设的值。反之，如果区间估计的置信区间不包含原假设的值，很可能假设检验也会拒绝原假设。

2.1.5、假设检验中的两类错误

第一类错误是指原假设成立的情况下，拒绝原假设的概率；
第二类错误是指备择假设成立的情况下，接受原假设的概率。

2.2、熟知内容

2.2.1、检验统计量&显著性水平&临界值

名词	基本定义
检验统计量	用于判断某个假设是否成立的数值指标，通常是样本统计量与假设参数之间的差异。
显著性水平	在进行假设检验时所设置的一种标准，通常为0.05或0.01，表示在该水平下，拒绝原假设的概率不超过这个数值。
临界值（Critical Value）	在假设检验中使用的某个统计量的值，超过这个值则拒绝原假设，否则接受原假设。临界值的大小取决于显著性水平和自由度等参数。

2.2.2、P 值的含义及计算

P值是用于判断假设检验中结果是否显著的一个概率值。通常，P值小于显著性水平（比如0.05或0.01）时，我们会拒绝原假设，即认为结果是显著的；而P值大于显著性水平时，我们会接受原假设，即认为结果不显著。

P值的计算方式取决于具体的统计检验方法，但是通常需要计算给定样本结果的统计量（比如t值、z值、F值、卡方值等）在假设下出现的概率。具体计算方法可以使用统计软件来进行，比如SPSS、R等。

以t检验为例，假设我们要判断一个样本的均值是否等于一个已知值，我们可以计算出它的t值，然后使用t分布表来查找在给定自由度和显著性水平下，t值对应的双侧P值。如果P值小于设定的显著性水平，则拒绝原假设，认为样本均值与已知值不同。如果P值大于显著性水平，则接受原假设，认为样本均值与已知值没有显著差异。

2.2.3、如何利用 P 值进行检验

利用P值进行检验通常需要以下步骤：

1. 提出假设。需要提出一个有明确结论可得的假设，例如“两组样本均值相等”、“一个模型的拟合没有显著差异”等。
2. 选择检验方法。根据所研究问题的特点和数据类型，选择合适的检验方法。
3. 统计计算。通过统计计算得到对应的统计量和P值。比如，通过z检验得到z值和P值，通过t检验得到t值和P值等。
4. 显著性水平设定。根据实际需求，设定显著性水平，通常为0.05或0.01。
5. 判断P值大小。如果P值小于设定的显著性水平，则拒绝原假设；如果P值大于设定的显著性水平，则接受原假设。
6. 得出结论。根据判断结果，得出最终结论。如果拒绝原假设，则认为数据支持备选假设；如果接受原假设，则认为数据不支持备选假设。

需要注意的是，P值并不是绝对判断标准，通常需要综合考虑实际研究背景、样本大小、效应大小等因素。而且，即使P值小于设定显著性水平，也不能说明效应大小或者结果的重要程度。

2.2.4、z 检验统计量

z检验是一种常用的统计方法，它可以检验一个样本的平均值是否与一个已知的总体平均值相等。z检验的统计量是z值，它的计算公式为：

z = (x - μ) / (σ / √n)
其中，x表示样本平均值，μ表示总体平均值，σ表示总体标准差，n表示样本大小。可以看到，z值的计算需要知道总体标准差，但在实际研究中，通常不能准确地知道总体标准差，因此可以通过样本标准差s来估计σ，从而得到t检验的统计量。

对于z检验而言，显著性水平通常设定为0.05或0.01。在进行假设检验时，如果计算得到的z值的绝对值大于对应显著性水平下的临界值，就可以拒绝原假设，认为样本均值与总体均值显著不同；否则，接受原假设。

2.2.5、t 检验统计量

t检验是一种常用的统计方法，用于检验一个样本的平均值是否与一个已知的总体平均值相等。t检验的统计量是t值，它的计算公式为：

t = (x - μ) / (s / √n)
其中，x表示样本平均值，μ表示总体平均值，s表示样本标准差，n表示样本大小。可以看到，t值的计算只需要样本标准差s，因此通常可以使用样本标准差来近似估计总体标准差，从而得到t检验的统计量。

在进行假设检验时，显著性水平通常设定为0.05或0.01。根据t分布的特点，不同样本大小和显著性水平下对应的t值是不同的，可以在t分布表中查找。如果计算得到的t值的绝对值大于对应显著性水平下的临界值，就可以拒绝原假设，认为样本均值与总体均值显著不同；否则，接受原假设。

需要注意的是，当样本大小较大时（一般大于30），t分布近似于正态分布，此时可以使用z检验来代替t检验。

2.2.6、F 检验统计量

F检验是一种常用的统计方法，用于检验两个或多个样本的方差是否相等。F检验的统计量是F值，其计算公式为：

F = s1^2 / s2^2
其中，s1和s2分别表示两个样本的方差，F值越大，表示两个样本的方差差异越大。

在进行假设检验时，通常将原假设设为“两个样本的方差相等”，备择假设设为“两个样本的方差不相等”。通过计算F值，可以在F分布表中查找其对应的显著性水平下的临界值。如果计算得到的F值大于临界值，则可以拒绝原假设，认为两个样本的方差不相等；否则，接受原假设。

需要注意的是，在F检验中，样本大小和样本方差的比值对F值的影响比较大，因此要注意样本大小和方差的选择。

2.2.7、χ2检验统计量

χ2检验（卡方检验）是一种常用的假设检验方法，主要用于检验两个或多个分类变量之间是否存在关联性。χ2检验的统计量是χ2值，其计算公式为：

χ2 = ∑(观测值-期望值)^2 / 期望值
其中，观测值是指实际观测到的各组别数据个数，期望值是指在假设下预期的各组别数据个数。χ2值越大，表示观测值与期望值之间的差异越大，就越有可能拒绝原假设。

χ2检验的步骤如下：

1. 建立假设：根据实际问题建立原假设和备择假设，如原假设为两个分类变量之间独立，备择假设为两个分类变量之间存在关联性。
2. 计算期望值：根据原假设计算出各组别的期望值。
3. 计算χ2值：根据计算公式计算出χ2值。
4. 确定自由度和显著性水平：自由度的计算方法为(k-1)*(m-1)，其中k是分类变量的组数，m是变量的分类数；显著性水平通常为0.05或0.01。
5. 查找χ2分布表：根据自由度和显著性水平，在χ2分布表中查找相应的临界值。
6. 判断结论：如果计算得到的χ2值大于临界值，则拒绝原假设，认为两个分类变量之间存在关联性；否则，接受原假设，认为两个分类变量之间独立。

需要注意的是，χ2检验的前提是各组别之间是互相独立的，而且期望值必须大于5，如果期望值小于5，可以采用精确性检验或者蒙特卡洛模拟方法。此外，如果观测值中有连续性变量，可以采用卡方分箱法将其离散化后进行χ2检验。

2.3、应用内容

2.3.1、单样本 t 检验

单样本 t 检验是一种常见的统计推断方法，用于判断单个样本的平均数是否与一个已知的理论值相等。下面是单样本 t 检验的实现步骤：

1. 确定假设：提出关于总体的两个假设，即零假设和备择假设。零假设通常是平均数与理论值相等，备择假设通常是平均数与理论值不相等。
2. 收集样本数据：从总体中抽取一个样本，并记录样本的观测值和样本大小。
3. 计算样本均值和标准差：使用样本数据计算样本均值和标准差。
4. 计算 t 统计量：使用样本均值、理论值、样本标准差和样本大小计算 t 统计量。
5. 计算 p 值：使用 t 分布的自由度和 t 统计量计算 p 值。
6. 判断推论：比较 p 值与显著性水平，如果 p 值小于显著性水平，则拒绝零假设，否则接受零假设。

下面是一个 Python 实现单样本 t 检验的示例代码：

import numpy as np
from scipy.stats import t

#定义样本数据
sample = np.array([1, 2, 3, 4, 5])

#定义理论值
theory_mean = 3

#计算样本平均数和标准差
sample_mean = np.mean(sample)
sample_std = np.std(sample, ddof=1)

#计算 t 统计量和 p 值
t_value = (sample_mean - theory_mean) / (sample_std / np.sqrt(len(sample)))
p_value = t.sf(np.abs(t_value), len(sample)-1) * 2
# 输出结果
print('t 统计量：', t_value)
print('p 值：', p_value)
 

在上面的代码中，使用了 numpy 库和 scipy 库中的 t 函数来计算 t 统计量和 p 值。其中 sample 表示样本数据，theory_mean 表示理论值，np.mean 和 np.std 分别计算了样本的平均数和标准差，t.sf 计算了双侧检验的 p 值。

2.3.2、两独立样本 t 检验

两独立样本 t 检验的步骤：

1. 确定假设：建立原假设和备择假设，其中原假设通常是两组样本的均值相等，备择假设是两组样本的均值不相等。
2. 收集数据并计算样本统计量：采集两组样本数据，并计算两组样本的样本均值、标准差和样本容量。
3. 计算 t 统计量：使用公式计算 t 统计量。其中，t 统计量是样本均值之差除以标准误差的比值，标准误差是两组样本标准差的平均值除以样本容量的平方根。
4. 查找临界值和计算 P 值：查阅 t 分布表，得到给定自由度和显著性水平下的临界值。或者使用计算机软件计算 P 值。如果 P 值小于给定的显著性水平，则拒绝原假设。
5. 得出结论：根据 P 值和原假设，得出结论，接受或拒绝原假设。

统计量： 两独立样本 t 检验中使用的统计量是 t 统计量。

原假设： 原假设是两组样本的均值相等。备择假设是两组样本的均值不相等。

2.3.3、两种检验应用的数据分析场景

类型	数据分析场景
单样本 t 检验	假设我们有一个总体和一个样本，我们想知道这个样本的均值是否与总体的均值相等。此时我们可以使用单样本 t 检验来进行假设检验。比如，我们想知道某个产品的平均寿命是否达到标准要求。
两独立样本 t 检验	假设我们想比较两组数据的均值是否有显著差异，这两组数据是独立的，没有任何关联。此时我们可以使用两独立样本 t 检验来进行假设检验。比如，我们想知道男性和女性在某个考试中的平均得分是否具有显著差异。

3、方差分析

【领会】
方差分析的相关概念；
统计量构造过程。
【熟知】
单因素方差分析的基本步骤；
总离差平方和（SST）的含义及计算；
组间离差平方和（SSA）的含义及计算；
组内离差平方和（SSE）的含义及计算；
单因素方差分析的原假设。
【应用】
实现单因素方差分析的步骤；
对方差分析表的分析以及多重比较表的分析。

3.1、领会内容

3.1.1、方差分析

方差分析（Analysis of Variance，ANOVA） 是一种统计分析方法，用于比较两个或两个以上样本的平均数之间是否存在显著性差异。它将数据分为两部分，一个是组内变异（即样本内变异），另一个是组间变异（即组间差异）。如果组间变异显著大于组内变异，则表明不同组之间的平均值存在显著性差异。方差分析可以应用于各种不同的实验设计，包括单因素设计（一个独立变量）、多因素设计（多个独立变量）等。通过方差分析，我们可以确定不同因素对观察到的结果的影响程度，帮助我们更好地理解实验数据。

3.1.2、统计量构造过程

统计量构造过程包括以下步骤：

1. 计算总平方和（SST）：所有观测值与总体均值的离差平方和，反映了所有因素对于数据的影响。

2. 计算组内平方和（SSW）：每组数据与该组均值的离差平方和，反映了同一因素下不同水平之间的变异。

3. 计算组间平方和（SSB）：各组均值与总体均值的离差平方和，反映了不同因素水平之间的变异。

4. 计算自由度（df）：总自由度df = n-1，组内自由度dfW = n-k，组间自由度dfB = k-1，其中n为总样本数，k为因素水平数。

5. 计算均方（MS）：组内均方MSE = SSW/dfW，组间均方MSB = SSB/dfB。

6. 计算F值：F值 = MSB/MSE，若F值大于F分布的临界值，则拒绝原假设，否则接受原假设。

3.2、熟知内容

3.2.1、单因素方差分析

单因素方差分析是一种用于比较两个或多个组的平均值是否具有显著差异的统计方法。它的原理基于以下假设：

• 所有组的样本是来自于正态分布的总体；
• 不同组的总体方差相等；
• 每个样本是独立的。
  单因素方差分析的步骤如下：

1. 计算每个组的平均值和总体平均值。
2. 计算每个样本到对应组平均值的偏差（也称为误差）。
3. 计算每个组的误差平方和，并将其除以组的自由度（即样本数-1），得到组内均方误差。
4. 计算所有样本到总体平均值的偏差，将其平方并相加，然后除以总体自由度（即所有样本数-1），得到总均方误差。
5. 计算F值，即组内均方误差与总均方误差的比值。如果F值大于临界值，则可以拒绝“不同组的总体方差相等”的假设，即认为不同组的平均值存在显著差异。

单因素方差分析可以用于各种类型的实验设计，包括随机化实验、配对实验和阻止实验。它是一种常用的统计方法，可以帮助研究者确定不同组之间是否存在显著差异，并进一步深入分析差异的原因。

3.2.2、总离差平方和（SST）

**总离差平方和（SST，sum of squares for total）**是用来描述观测值与其平均值之间总的变异程度的统计量，其计算公式为：

SST = Σ(yi - ȳ)²
其中，yi表示第i个观测值，ȳ表示所有观测值的平均值，Σ表示对所有观测值进行求和。

SST反映了数据本身的变异程度，其值越大表示数据间的差异越大，反之则说明数据间的变异程度较小。SST的计算结果可以作为其他统计量（如SSE，SSR等）的基础，用来评估模型的拟合程度。

3.2.3、组间离差平方和（SSA）

**组间离差平方和（SSA）**是一种用于分析方差的统计量，它表示不同组（或因素）之间数据的差异程度。具体来说，在一组数据中，如果数据可以被分成多个互不重叠的组，那么SSA就可以用来衡量这些组之间的差异情况。

计算SSA的公式为：

$$SSA=\sum _{i=1}^k{n}_i(\overline{x_i}-\bar{x}{)}^2$$
其中，$k$代表组数，$n_i$代表第$i$组的样本数，$\overline{x_i}$代表第$i$组样本的平均值，$\bar{x}$代表整体样本的平均值。

通过计算SSA，我们可以得出不同组之间的离差平方和，从而判断在不同因素的作用下，数据变化的差异程度。如果SSA较大，则意味着不同组之间的差异较大，因素对数据的影响也较大；反之，则说明不同组之间的差异较小，因素对数据的影响较小。

3.2.4、组内离差平方和（SSE）

组内离差平方和（sum of squares within groups, SSE） 是指某一组内各个数据与该组内均值之差的平方和。在统计学中，SSE是方差分析（ANOVA）中计算总离差平方和（SST）和组间离差平方和（SSB）后，计算得到的第三个离差平方和。SSE表示数据点之间的差异，它主要反映同一组内个体之间的差距。

下面是组内离差平方和的计算公式：

SSE = Σ(yi - ȳ)^2
其中，yi代表第i个数据点的值，ȳ代表该组内所有数据点的均值，Σ表示对所有数据点求和。

例如：给定一组数据：3, 4, 5, 6, 7，计算该组数据的SSE：
首先计算该组数据的均值： ȳ = (3+4+5+6+7)/5 = 5
然后计算SSE： SSE = (3-5)^2 + (4-5)^2 + (5-5)^2 + (6-5)^2 + (7-5)^2 = 4 + 1 + 0 + 1 + 4 = 10
因此，该组数据的SSE为10。

3.3、应用内容

对方差分析表的分析以及多重比较表的分析

方差分析表是用来展示方差分析结果的表格，通常包括以下内容：

• 总体方差（SS）：表示所有数据点与总体平均值之间的差异，即总方差。

• 因子（组间）方差（SSB）：表示不同因素（如不同处理方法、不同组别等）之间的差异所占的方差。

• 误差（组内）方差（SSW）：表示同一组中不同数据点之间的差异所占的方差。

• 自由度（df）：表示可用于估计方差的独立信息数量。

• 均方（MS）：表示方差与自由度的比值。

• F值（F-statistic）：表示因子效应是否显著的统计量。

• p值（p-value）：表示因子效应是否显著的概率值。

通过方差分析表，可以判断不同因素对数据的影响是否显著，以及哪些因素对数据的影响更大。

多重比较表是一种常用的数据分析方法，用于比较多个变量（行）在多个条件（列）下的得分或频率。

分析多重比较表的步骤如下：

• 确定显著性水平：在进行任何统计分析之前，需要确定一个显著性水平（通常为0.05或0.01），用于判断所得结果是否具有统计意义。
• 计算卡方值：使用卡方检验来确定多重比较表中的变量是否独立。卡方值越大，说明变量之间的关联性越强。
• 计算自由度：计算自由度（df）以确定卡方值是否达到显著性水平。自由度的计算方法是：df = (行数-1) × (列数-1)。
• 判断显著性：使用卡方分布表来确定卡方值是否显著。如果卡方值大于临界值，就可以拒绝原假设，认为所得结果具有统计意义。
• 进行后续分析：如果发现多重比较表中存在显著性差异，可以进一步对数据进行后续分析，如进行卡方检验的对应方差分析（CVA），以确定哪些变量之间存在差异。

需要注意的是，在进行多重比较表分析时，还需要对数据的有效性和代表性进行考虑，以避免误解结果。

4、一元线性回归分析

【领会】
相关图的绘制与作用；
相关表的编制与作用；
相关系数定义公式的字母含义；
估计标准误差与相关系数的关系。
【熟知】
相关关系的概念与特点；
相关关系与函数关系的区别与联系；
相关关系的种类；
相关系数的意义以及利用相关系数的具体数值对现象相关等级的划分 ；
回归分析的概念；
回归分析的主要内容和特点；
建立一元线性回归方程的条件；
一元线性回归系数的最小二乘估计；
应用回归分析应注意的问题；
估计标准误差的意义及计算。
【应用】
运用简捷法公式计算相关系数与回归系数；
回归分析与相关分析的区别与联系。

4.1、领会内容

4.1.1、相关图的绘制与作用

相关图是一种用于研究两个或多个变量之间关系的图表，它能够帮助我们理解和解释数据之间的关联性。常见的相关图类型包括散点图、线性回归图、热力图等。

绘制相关图的主要作用包括：

1. 发现数据之间的相关性：通过绘制相关图，我们可以识别数据之间的相关性，例如正相关、负相关或无关系。这可以帮助我们更好地理解数据并揭示数据中可能存在的模式和趋势。

2. 识别异常值和离群值：相关图可以帮助我们识别异常值和离群值。这些值可能会对分析结果产生巨大的影响，因此检测并处理它们非常重要。

3. 帮助建立预测模型：相关图可以帮助我们选择最合适的模型来进行预测。例如，通过绘制线性回归图，我们可以评估数据是否适合线性回归模型，并确定最佳拟合线。

4. 提高数据可视化效果：相关图可以将数据可视化，使其更容易理解和解释。通过图表的形式呈现数据，我们可以更容易地识别数据的关系和趋势。

总之，相关图是一种非常有用的数据分析工具，可以帮助我们更好地理解和解释数据之间的关系，并用于数据可视化和预测建模等方面。

4.1.2、相关表的编制与作用

相关表是对某个问题或现象进行分析、描述和统计的一种方式，通过数据的可视化展示，使人们能够更加直观地理解和把握问题或现象的现状和趋势，从而更好地制定决策、规划和管理。

相关表的编制一般包括以下步骤：

1. 确定目的和范围：确定分析的问题或现象，并明确要分析的数据范围和时间。
2. 收集数据：收集相关的数据，包括数量、比率、百分比等各种形式的数据。
3. 筛选数据：根据分析目的，筛选出与问题或现象相关的数据，并排除无关数据。
4. 组织数据：将数据按照一定的分类和顺序进行组织和汇总。
5. 选定图表类型：根据数据的性质和分析目的，选择合适的图表类型，如表格、柱状图、折线图、饼图等。
6. 绘制图表：利用各种工具和软件进行图表绘制和编辑，使其符合美学和视觉规律。
7. 分析图表：分析图表所反映出的数据趋势和规律，并对问题或现象进行分析和解释。

相关表的作用主要有以下几个方面：

1. 信息传递和传播：相关表能够将数据以清晰、简明的方式展现，使信息更加易于传递和传播。
2. 数据比较和分析：相关表能够将各种数据进行比较和分析，使人们更容易看出数据的关系和规律。
3. 决策支持和规划：相关表能够直观地展示问题或现象的现状和趋势，为决策制定和规划提供重要依据。
4. 管理和监控：相关表能够帮助管理者监控业务运营和目标的实现情况，及时发现问题并采取措施。

4.1.3、相关系数定义公式的字母含义

相关系数常用的定义公式如下：

$$r=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}}$$

其中：

符号	含义
$r$	样本的相关系数
$n$	样本个数
$x_i$	第 $i$ 个样本的 $x$ 值
$y_i$	第 $i$ 个样本的 $y$ 值
$\bar{x}$	$x$ 的样本均值
$\bar{y}$	$y$ 的样本均值

在计算相关系数时，通常需要计算样本均值和样本方差，因此还需要定义以下符号：

符号	含义
${\mu }_x$	$x$ 的总体均值
${\mu }_y$	$y$ 的总体均值
$s_x$	$x$ 的样本标准差
$s_y$	$y$ 的样本标准差

4.1.4、估计标准误差与相关系数的关系

·相关系数越高，标准误差就越小
这是因为相关系数反映的是两个变量之间的线性关系强度，当两个变量呈现出更强的线性关系时，它们的观察值会更接近线性回归的拟合线，因此标准误差会相对较小。
当相关系数为1或-1时，标准误差为0：此时所有的观测值都落在拟合线上。
当相关系数接近0时，标准误差会变大：此时无论观测值如何分布，它们与拟合线之间的距离都较大。
需要注意的是，标准误差并不直接等于相关系数，它们是两个不同的统计量。

4.2、熟知内容

4.2.1、相关关系

4.2.1.1、相关关系的概念

相关关系指的是两个或多个变量之间的关系，即当一个变量发生变化时，另一个变量也会随之发生变化。

4.2.1.2、相关关系的特点

相关关系的特点包括方向、形状和强度。

• 方向：相关关系可以是正相关还是负相关。正相关意味着两个变量的变化方向是相同的，即一个变量的增加伴随着另一个变量的增加；负相关则表示两个变量的变化方向是相反的，即一个变量的增加伴随着另一个变量的减少。
• 形状：相关关系还可以具有不同的形状，包括线性关系、曲线关系、非线性关系等。
• 强度：相关关系的强度可以用相关系数来衡量，相关系数的取值范围为-1到1，绝对值越接近1代表相关关系越强。

4.2.1.3、相关关系的种类

相关关系的种类根据变量类型可以分为以下两种：

• 两个连续变量之间的相关性称为线性相关，如身高和体重之间的关系。
• 两个分类变量之间的相关性称为列联相关，如性别和课程成绩之间的关系。

4.2.1.4、相关关系与函数关系

相关关系和函数关系都是数学中的两个概念，但它们之间有很大的区别和联系。

区别：

• 相关关系描述的是两个或多个变量之间的关系，即当一个变量发生变化时，另一个变量也会随之发生变化。而函数关系则描述了一个变量如何依赖另一个变量，即当一个变量发生变化时，另一个变量的取值也会随之改变。
• 相关关系没有因果性，即它并不能确定一个变量的变化是由另一个变量引起的，而函数关系则具有因果性。
• 相关系可以用相关系数来衡量关系的强度和方向，而函数关系则用公式或图像来表示。

联系：

• 相关关系和函数关系都可以描述两个或多个变量之间的关系。
• 如果两个变量之间具有函数关系，则它们之间必然存在相关关系。
• 相关系和函数关系在实际应用中经常互相转化。例如，如果我们知道两个变量之间的函数关系，我们可以通过求偏导数来确定它们之间的相关系数；反过来，如果我们知道两个变量之间的相关关系，我们可以通过回归分析来建立它们之间的函数关系。

4.2.2、相关系数

利用相关系数的数值可以对现象相关等级进行划分。一般地，相关系数取值在-1到1之间，其具体划分如下：

得分	相关性
±1.0	完全正相关或完全负相关
±0.7~0.9	强相关
±0.4~0.6	中等程度相关
±0.1~0.3	弱相关
0	不相关

需要注意的是，相关系数只能表征两个变量之间的线性关系，对于非线性关系它的表征效果不理想。此外，即使两个变量之间存在相关性，也不能推断出它们之间一定存在因果关系。因此，在进行现象间相关性分析时，需要综合考虑多种因素，避免片面地解释现象之间的关系。

4.2.3、回归分析

4.2.3.1、概念

回归分析是一种统计分析方法，旨在通过对一个或多个自变量与一个因变量之间的关系进行测量和建模来预测或解释因变量的变化。

4.2.3.2、主要内容

主要内容包括确定关系的形式、测量变量之间的相关性、建立适当的回归方程、检验回归方程的有效性以及使用回归方程进行预测等。

4.2.3.3、特点

回归分析的特点包括：

• 唯一性：对于一个给定的数据集和回归模型，回归分析可以得到唯一的结果。
• 变量之间的关系：回归分析可以帮助我们了解变量之间的关系，包括线性关系、非线性关系、正相关、负相关等。通过这些关系，我们可以预测因变量的变化。
• 可解释性：回归分析可以提供对因变量变化的解释，包括哪些自变量对其变化有影响，对应变化的大小和方向。
• 可预测性：回归分析可以使用建立好的回归模型对未来的数据进行预测。这种预测可以帮助我们做出更好的决策。

4.2.4、一元线性回归

4.2.4.1、一元线性回归方程

建立一个一元线性回归方程条件：

• 要有两个变量，一个自变量和一个因变量。
• 自变量和因变量之间需要有线性关系，即两者之间的关系可以用一条直线来描述。
• 自变量和因变量之间需要具有统计显著性，即它们之间的关系不是由巧合造成的，而是真正存在的。
• 自变量和因变量之间需要具有一定的相关性，即当自变量发生变化时，因变量也会相应地发生变化。
• 自变量的取值应该是独立的，即任何一个自变量的值都不应该受到其他自变量的影响。
• 因变量的取值应该是随机的，并且满足正态分布。

基于以上条件，可以使用最小二乘法求解线性回归方程，得出自变量和因变量之间的函数关系，从而可以预测因变量在特定自变量取值下的值。

4.2.4.2、一元线性回归系数

一元线性回归模型可以表示为：

$Y_i={\beta }_0+{\beta }_1{X}_i+{ϵ}_i$

其中，$Y_i$表示第$i$个观测值的因变量，$X_i$表示第$i$个观测值的自变量，${\beta }_0$和${\beta }_1$分别表示截距和斜率，${ϵ}_i$是误差。

最小二乘估计的原理是使得平方误差（即实际值与预测值之间的差值平方）之和最小：

$\underset{{\beta }_0,{\beta }_1}{\min }\sum _{i=1}^n(Y_i-{\beta }_0-{\beta }_1{X}_i{)}^2$

通过对上式求偏导，可以得到最小二乘估计的公式：

$\widehat{{\beta }_1}=\frac{\sum _{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sum _{i=1}^n(X_i-\bar{X}{)}^2}$

$\widehat{{\beta }_0}=\bar{Y}-\widehat{{\beta }_1}\bar{X}$

其中，$\bar{X}$和$\bar{Y}$分别表示自变量$X$和因变量$Y$的平均值。

这两个公式分别表示了截距和斜率的最小二乘估计。

4.2.5、应用回归分析注意事项

应用回归分析需要注意以下问题：

• 数据质量：回归分析的效果受到数据质量的影响，需要注意数据是否准确、完整、有效等。
• 模型选择：不同的回归模型适用于不同的数据分布情况，需要根据实际情况选择适当的模型。
• 自变量选择：应该选择与因变量有显著相关性的自变量进行回归分析，避免无关变量的影响。
• 多重共线性：多个自变量存在高度相关性时，会导致回归系数不准确，需要进行处理。
• 异常值与离群点：异常值和离群点会影响回归分析结果，需要识别并进行处理。
• 模型评估：需要对回归模型的拟合优度、预测效果等进行评估，并进行模型优化。
• 解释变量：回归模型得到的结果只能解释变量之间的关系，不能用于因果分析。因此，在解释回归分析结果时需要注意避免混淆因果关系。

4.2.6、估计标准误差

**估计标准误差（Estimated Standard Error）**是一种统计学上的概念，用于估计样本统计量与总体参数之间的误差，反映了样本统计量的稳定性和可靠性。

计算估计标准误差的公式通常如下所示：

$$SE=\frac{s}{\sqrt{n}}$$ 其中，$s$是样本标准差，$n$是样本容量，$SE$即为估计标准误差。

估计标准误差越小，说明样本统计量与总体参数之间的误差越小，样本统计量越接近总体参数。因此，在进行统计推断时，估计标准误差通常被用于计算置信区间和假设检验的统计量，例如$t$检验、$F$检验等。
需要注意的是，估计标准误差只是对样本统计量与总体参数之间误差的估计，它并不能完全代替总体参数的真实值。因此，在应用估计标准误差时，需要考虑样本容量大小、样本的随机性以及样本所代表的总体特征等因素。

4.3、应用内容

4.3.1、相关系数&回归系数；

相关系数公式：

$r=\frac{n(\sum xy)-(\sum x)(\sum y)}{\sqrt{[n\sum x^2-(\sum x{)}^2][n\sum y^2-(\sum y{)}^2]}}$

其中，$n$为样本容量，$\sum x$和$\sum y$分别为样本 $x$ 和 $y$ 的总和，$\sum xy$为 $x$ 和 $y$ 乘积的总和，$\sum x^2$和$\sum y^2$分别为 $x$ 和 $y$ 的平方总和。

回归系数公式：

$y={\beta }_0+{\beta }_{1}x$

其中，${\beta }_0$为截距，${\beta }_1$为斜率。

${\beta }_1=\frac{n(\sum xy)-(\sum x)(\sum y)}{n(\sum x^2)-(\sum x{)}^2}$

${\beta }_0=\frac{\sum y-{\beta }_1\sum x}{n}$

其中，$n$为样本容量，$\sum x$和$\sum y$分别为样本 $x$ 和 $y$ 的总和，$\sum xy$为 $x$ 和 $y$ 乘积的总和，$\sum x^2$为 $x$ 的平方总和。

4.3.2、回归分析&相关分析

回归分析和相关分析是两种常用的统计方法，在数据分析中经常用到。它们之间的区别和联系可以用下面的图表来描述：

区别	回归分析	相关分析
目的	预测自变量与因变量之间的关系	描述自变量与因变量之间的关系
自变量与因变量	一个自变量和一个因变量	至少两个变量之间的关系
分析方法	线性回归、非线性回归、多元回归	皮尔逊相关、斯皮尔曼相关
建模过程	通过建立回归模型来解释和预测因变量	通过计算相关系数来描述变量之间的相关关系
应用场景	预测因变量的值，如销售额、房价等	描述变量之间的关系，如身高与体重、学习成绩与学习时间等
输出结果	回归系数、拟合优度、残差分析	相关系数、显著性检验、散点图

联系：

• 回归分析和相关分析都是用来研究自变量与因变量之间的关系的方法。
• 两种方法都可以用来评估变量之间的线性关系。
• 两种方法都可以用来进行预测和模型建立。

(“All your efforts will pay off one day. 你的努力终将得到回报。”FIGHTING. . . .)