『统计学』第四部分：回归分析和卡方检验

『回归分析』

『线性回归中的平方误差』

如上图，线性回归的平方误差如下：

$$S{E}_{line}=(y_1-(m{x}_1+b){)}^2+(y_2-(m{x}_2+b){)}^2+...+(y_n-(m{x}_n+b){)}^2$$

   \;

『线性回归公式的推导』

根据前面得到的线性回归的平方误差，对公式做进一步推导：
$$\begin{array}{rl}S{E}_{line}& =(y_1-(m{x}_1+b){)}^2+(y_2-(m{x}_2+b){)}^2+...+(y_n-(m{x}_n+b){)}^2\\ & =y_1^2-2y_1(m{x}_1+b)+(m{x}_1+b{)}^2\\ & +y_2^2-2y_2(m{x}_2+b)+(m{x}_2+b{)}^2\\ & +...\\ & +y_n^2-2y_n(m{x}_n+b)+(m{x}_n+b{)}^2\\ & =(y_1^2+y_2^2+...+y_n^2)-2mb(x_1+x_2+...+x_n)-2b(y_1+y_2+...+y_n)\\ & +m^2(x_1^2+x_2^2+...+x_n^2)+2mb(x_1+x_2+...+x_n)+n{b}^2\end{array}$$

利用均值来做替换，得到：

$$S{E}_{line}=n\overline{y^2}-2mn\overline{xy}-2bn\overline{y}+m^{2}n\overline{x^2}+2mbn\overline{x}+n{b}^2$$

下面画出$S{E}_{line}$对m和b的曲面：

要求使得$S{E}_{line}$最小的m和b，可以对m和b求偏导，在最低点处导数为零。

$$-2n\overline{xy}+2mn\overline{x^2}+2bn\overline{x}=0$$

$$-2n\overline{y}+2mn\overline{x}+2bn=0$$

化简可以得到：
$$m\overline{x^2}+b\overline{x}=\overline{xy}$$

$$m\overline{x}+b=\overline{y}$$

比较最佳拟合直线的方程：$y=mx+b$，我们可以发现：

x和y的均值落在最佳拟合直线上，这里确定拟合直线的一个点$(\overline{x},\overline{y})$。

两点确定一条直线，我们还需要确定一个点，将第一个式子化成$mx+b$的形式，得到：

$$m\frac{{\overline{x}}^2}{\overline{x}}+b=\frac{\overline{xy}}{\overline{x}}$$

这就得到最佳拟合直线上的另外一个点的坐标$(\frac{{\overline{x}}^2}{\overline{x}},\frac{\overline{xy}}{\overline{x}})$。

于是我们就确定最佳拟合直线上的两个点：$(\overline{x},\overline{y})$和$(\frac{{\overline{x}}^2}{\overline{x}},\frac{\overline{xy}}{\overline{x}})$

接下来求出m和b：

$$m=\frac{\overline{y}-\frac{\overline{xy}}{\overline{x}}}{\overline{x}-\frac{{\overline{x}}^2}{\overline{x}}}=\frac{\overline{x}\cdot \overline{y}-\overline{xy}}{(\overline{x}{)}^2-\overline{x^2}}$$

$$b=\overline{y}-m\overline{x}$$

下面来看个例子，我们去拟合下面三个点：
得到：

$$m=\frac{3}{7}，b=1$$

所以：

$$y=\frac{3}{7}x+1$$

『决定系数$R^2$』

对于直线的拟合程度，我们当然可以计算出具体有多少误差，但是还有一种对直线拟合程度更有意义的估计：

首先提个问题：y的波动程度有多少百分比能被 x 的波动程度所描述？

这里，我们可以先求出y的总波动：

$$S{E}_{\overline{y}}=(y_1-\overline{y}{)}^2+(y_2-\overline{y}{)}^2+...+(y_n-\overline{y}{)}^2$$

我们想求出$x$波动所描述的百分占比，但是这个百分比不太好衡量，其实可以换个思路，看看y有什么波动没有被x的波动所描述？

于是我们考虑一下，总波动中有多少没有被回归线所描述，对此我们已经有了衡量，就是直线的平方误差，这个误差是没有被回归线描述的。于是我们得到：

$$\frac{S{E}_{Line}}{S{E}_{\overline{Y}}}$$

表示总波动中有多少百分比没有被x的波动所描述，或者说，没有被回归线所描述。

那么，回到前面的问题，我们想知道“多少百分比由x的波动描述”这一问题，只需要看剩下的就行了。于是得到：

$$r^2=1-\frac{S{E}_{Line}}{S{E}_{\overline{Y}}}$$

这告诉我们总波动有多少百分比被直线所描述，或者说被x的波动描述，这个数字称作决定系数，记做$r^2$。

$r^2$越接近于1，则y的波动很多都被x的波动描述，说明直线拟合的好。

『协方差和回归线』

协方差的定义为：两随机变量离各自均值距离之积的期望值。

$$cov(X,Y)=E[(X-E[X])(Y-E[Y])]$$

其实，协方差就是表示两变量多大程度上一同变化。

如何理解这句话？
假设总体中有一个点（随机变量的一个实例），也就是从总体中抽取的一个样本：X = 1，Y = 3，已知$E[X]=0$，$E[Y]=4$，$X-E[X]=1-0=1,Y-E[Y]=3-4=-1$，这表示，对于这个样本，从X和Y中抽取一个样本后，X高于期望值，Y低于期望值，如果对于总体，情况都是如此，那么协方差就会得到负数，一个上升另一个就下降，一个下降另一个就上升，如果两者同时上升，同时下降，那么就是正协方差，同步程度确定协方差的大小。

我们来看一下如何将协方差的定义同最小二乘回归联系起来。

下面对协方差的定义做些变化：

$$\begin{array}{rl}Cov(X,Y)& =E[(X-E[X])(Y-E[Y])]\\ & =E[XY-XE[Y]-E[X]Y+E[X]E[Y]]\\ & =E[XY]-E[XE[Y]]-E[E[X]Y]+E[E[X]E[Y]]\\ & =E[XY]-E[X]E[Y]-E[X]E[Y]+E[X]E[Y]\\ & =E[XY]-E[X]E[Y]\end{array}$$

其中，$E[XY]$可以用X、Y积的样本均值$\overline{XY}$近似，$E[X]$可以用$\overline{X}$近似，$E[Y]$可以用$\overline{Y}$近似，那么两随机变量的协方差可以用$\overline{XY}-\overline{X}\cdot \overline{Y}$表示，这就是回归线斜率的分子部分。

回归线的斜率如下：

$$\hat{m}=\frac{\overline{xy}-\overline{x}\cdot \overline{y}}{\overline{x^2}-(\overline{x}{)}^2}=\frac{Cov(X,Y)}{Var(X)}$$

这样就将协方差的定义同最小二乘回归联系起来。

『${\chi }^2$分布』

面对一个新的分布，首先，我们提出人生的终极三问：

• 你是谁？
• 从哪里来？
• 到哪里去？

下面我们就从这三个方面来了解一下${\chi }^2$分布：

• （1）第一个问题，${\chi }^2$分布是个啥？

若n个相互独立的随机变量${\xi }_1，{\xi }_2，...，{\xi }_n$均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和

$$Q=\sum _{i=1}^n{\xi }_i^2$$

构成一个新的随机变量，其卡方分布规律称为${\chi }^2$分布（chi-square distribution），其中参数n称为自由度，正如正态分布中均值或方差不同就是另一个正态分布一样，这里卡方分布自由度不同就是另一个分布。记为$Q\sim {\chi }^2(k)$。卡方分布是由正态分布构造而成的一个新的分布，当自由度n很大时，${\chi }^2$分布近似为正态分布。

如下图，从一个标准正态分布中采样样本，并取平方，得到的是自由度为1的卡方分布：$Q_1={\chi }_1^2$；

从两个独立的标准正态分布中采样样本，并取平方和，得到的是自由度为2的卡方分布：$Q_2={\chi }_2^2$；

下面看一下${\chi }^2$分布的图像：

随着自由度的增加，卡方分布的曲线逐渐右移，这里可以直观的解释一下：
因为卡方分布是由标准正态分布采样来的，根据正态分布的曲线，采样到0附近的概率最大，所以当自由度很小时，卡方分布在靠近0的地方概率就很大，但是随着自由度的增加，卡方分布的随机变量变成了很多样本点的平方和，当然得到0的概率逐渐减小，均值逐渐增大，所以卡方分布的曲线逐渐右移，当自由度n很大时，${\chi }^2$分布近似为正态分布。

• （2）第二个问题，${\chi }^2$分布从哪里来？

从前面的介绍就可以知道了，${\chi }^2$分布是从正态分布中采样来的分布，同其他分布一样，肯定是这种分布在自然界中普遍存在，并且可以用来解决一些问题，所以统计学家才会去研究这种分布的性质，构造一些通用的“模板”（统计学的第一部分提到了这个概念），来供我们使用。

这样，自然而然地引入第三个问题，这玩意儿到底可以用来干啥？

• （3）第三个问题，${\chi }^2$分布有什么用？（到哪里去？）

首先，简短地概括：${\chi }^2$分布用于检验理论分布同观测结果吻合得有多好。

所以，这个分布的用处就是，衡量离期望值的误差有多大。

所以，在下面这种情况下，可以使用${\chi }^2$分布：

以特定概率分布为某种情况进行建模时，事物长期结果较为稳定，能够清晰进行把握。但是期望与事实存在差异怎么办？偏差是正常小幅度波动引起的或者是建模错误，如何来判别？此时，可以利用卡方分布分析结果，排除可疑结果。【事实与期望不符合的情况下，使用卡方分布进行检验】

通常，对我们我们来说，使用${\chi }^2$分布时，同正态分布和t分布一样，只要知道如何查${\chi }^2$分布表就可以了，下面看一下如何使用：

如图，我们想要求$Q_2>2.41$的概率：

从表格中可以查到：自由度为2的${\chi }^2$分布$Q_2$的值大于2.41的概率为0.3，所以如下图所示：阴影部分的面积就是0.3。

『卡方检验』

卡方检验是一种基于卡方分布的常用的统计（显著性）检验，其统计量在原假设成立时服从卡方分布。

在不明确说明的情况下，卡方检验默认指代皮尔森卡方检验，根据样本数据推断总体分布与期望分布是否有显著差异，或推断分类变量间是否相互关联或彼此独立。

皮尔森卡方检验：拟合优度检验
   \;
假设实验中从总体中随机取样得到的 n 个观察值被划分为 k 个互斥的分类，这样每个分类都有一个对应的实际观察次数$x_i(i=1,2,...,k)$。研究人员会对实验中各个观察值落入第 i 个分类的概率$p_i$的分布提出零假设，从而获得了对应所有第 i 分类的理论期望次数$m_i=n{p}_i$以及限制条件：
   \;
${\sum }_{i=1}^k{p}_i=1$以及${\sum }_{i=1}^k{m}_i={\sum }_{i=1}^k{x}_i=n$。
   \;
皮尔森提出，在上述零假设成立以及 n 趋向$\infty$的时候，以下统计量的极限分布趋向${\chi }^2$分布：
   \;
$X^2={\sum }_{i=1}^k\frac{(x_i-m_i{)}^2}{m_i}={\sum }_{i=1}^k\frac{x_i^2}{m_i}-n$
   \;
皮尔森首先讨论零假设中所有分类的理论期望次数$m_i$均为足够大且已知的情况，同时假设各分类的实际观测次数$x_i$均服从正态分布。皮尔森由此得到当样本容量 n 足够大时，$X^2$趋近服从自由度为$(k-1)$的 ${\chi }^2$分布。

不同的卡方检验使用不同的计算公式计算统计量，卡方检验都假设其使用的统计量服从卡方分布。

对分类数据进行分析的统计方法主要是利用卡方分布，也被称作卡方检验。

卡方检验的应用主要表现在两个方面，分别是拟合优度检验和独立性检验，前者用于单变量，后者用于双变量。

1、分类数据与卡方统计量

数据类型一般可分为无序类别数据、有序类别数据和数值型数据，在处理无序类别数据和有序类别数据时需要特别注意，当你用一个数字去代替某一类别时，需时刻记得数字之间的间隔不能反映类别之间的差距，在有序类别中仅可以用来比较大小，在无序类别中仅仅是一个代号而已。

我们常用类别出现的频数对分类数据进行分析，而卡方检验正可以对这类数据进行分析。

卡方检验其实是测定两个分类变量之间的相关程度，它是利用类别变量的观测值频数与期望值频数进行构建的：

$${\chi }^2=\sum \frac{(f_o-f_e{)}^2}{f_e}$$

其中：$f_o$代表观察值频数，$f_e$代表期望值频数；

可以看到，卡方统计量其实反映了观察值频数和期望值频数之间的差距，当差距较小时，统计量的值也会变小。所以卡方检验正是通过计算卡方统计量与临界值进行比较来确定相关的显著性的。

2、拟合优度检验

拟合优度检验很简单，它符合假设检验的的基本理论，所以使用的流程与之前的假设检验是一样，我们来看一个例子，你就知道它在说什么：

• 例1：

泰坦尼克沉船事件：当时船上2208人，男性1738人，女性470人，海难发生后，幸存者718人，其中男性374人，女性344人，我们想知道幸存状况是否与性别有关。

总结为下表：

-	男性	女性	总数
船上	1738	470	2208
幸存	374	344	718

这个问题在机器学习上会是另外一种问法：性别对预测是否存活的贡献有多大，其实二者想表达的东西是一样的，因为只涉及到一个变量，所以是一个单变量分析的方法：

我们想知道幸存状况是否与性别有关，所以要去做假设检验：

$H_0：$幸存状况与性别无关；
$H_1：$幸存状况与性别有关；

这里设定显著性水平是5%。

首先，我们已经知道了观察频数：男性374人，女性470人，那期望频数如何计算呢，这里需要提到我们的假设条件，我们的原假设是：存活与性别无关。这意味着在存活的人中，男女存活的比例应该与总人数中男女比例是一样的。所以，男性期望频数：$718\ast \frac{1738}{2208}=565$。女性的期望频数：$718\ast \frac{470}{2208}=153$，如下：

-	男性	女性	总数
船上	1738	470	2208
幸存	374	344	718
Expected	565	153	718

下面构造卡方统计量：

$${\chi }^2=\sum \frac{(f_o-f_e{)}^2}{f_e}=\frac{(374-565{)}^2}{565}+\frac{(344-153{)}^2}{153}=303+19.82=322.82$$

由于度为分类变量类型个数-1，所以，这里服从自由度为1的卡方分布。

我们查得此状态下的p值远小于0.025，所以存活状况与性别显著性相关。

• 例2：

我正考虑购入一家餐厅，我询问目前的店主，店内每天顾客数的分布是怎样的？于是他给了我这样一个分布：

Day	M	T	W	T	F	S
店主(%)	10	10	15	20	30	15
观测值	30	14	34	45	57	20

我有些怀疑，想检验他给我的分布和我观测的数据是否吻合，于是我得到一周内的观测值，要看是否吻合，所以，我需要进行假设检验：

$H_0：$店主的分布是正确的；
$H_1：$店主的分布是错误的；

显著性水平是5%。

我要根据这些数据计算出一个统计量，且统计量近似服从卡方分布。

思路： 根据特定自由度的卡方分布，计算卡方统计量，我想知道得到这样或更极端结果的概率是否小于5%，如果该概率小于5%，我将拒绝零假设，也就是拒绝店主的分布。如果卡方统计量得到如此极端或更极端的概率大于显著性水平$\alpha$，我就不能拒绝它，没有理由认为店主在撒谎。

假设店主的分布是正确的，在此前提下，观测值预计会得到多少呢？我们得到下面的期望值：

Day	M	T	W	T	F	S	总计
店主(%)	10	10	15	20	30	15	100
观测值	30	14	34	45	57	20	200
Expected	20	20	30	40	60	30	200

下面计算卡方统计量：

由于这里只是近似卡方分布，所以我们写作$X^2$。

$$X^2=\frac{(30-20{)}^2}{20}+\frac{(14-20{)}^2}{20}+\frac{(34-30{)}^2}{30}+\frac{(45-40{)}^2}{40}+\frac{(57-60{)}^2}{60}+\frac{(20-30{)}^2}{30}=11.44$$

我们先求出5%概率对应的临界${\chi }^2$值，如果我们这里求出的的结果比该临界值更极端，我们就拒绝零假设。

下面求临界${\chi }^2$值：

我们要先求出自由度，这里总共求了6次和，也许会误认为这里的自由度是6，其实，通过前5条信息就能求出第6条信息，n个像这样的数据点，对比观测值和预计值，自由度只有 $n-1$，因为第n个数据点能够通过其它数据求出，因此，这里的自由度是5。

对于显著性水平是5%，自由度是5的卡方分布，查${\chi }^2$分布表：

查得临界${\chi }^2$值是11.07，在图中的位置如下：

结果至少达到11.07这么极端的概率是5%。

$${\chi }_c^2=11.07$$

而我们得到的结果11.44甚至比这更极端，可能性更小，其概率小于显著性水平，因此我们将拒绝店主给我们的分布。

3、独立性检验

拟合优度检验可以看作是独立性检验的特例，独立性检验通常对两个变量进行检验，查看这两个类别变量之间是否存在某种联系。

• 例1：

已知原料有不同的等级，而原料又来自不同的地区，我们关心等级与产地是否有关，对这两个变量关系的检验，就可以用到独立性检验，通常利用一种叫做列联表的方式呈现，所以也被称作列联分析，我们来看等级和产地的例子：

以上非合计的单元格就是观察频数，所以我们现在需要计算期望频数，我们以第一单元，即来自甲地区一级原料的期望数量为例：

首先一级原料占比：$162/500$，然后计算甲地区原料占比：$140/500$，那么原本甲地区一级原料应该是：$(\frac{140}{500})(\frac{162}{500})\ast 500=45.36$，依次类推得到计算的期望值：

构造统计量${\chi }^2=\sum \frac{(f_o-f_e{)}^2}{f_e}=19.82$，服从自由度$(3-1)(3-1)=4$的卡方分布，由于${\chi }^2>{\chi }_{0.05}^2(4)=9.4877$，所以可以认为原料登记受地区影响。

基于以上我们可以看到${\chi }^2$检验其实可以用来做变量初筛，而且它没有皮尔逊相关性的线性假设。

• 例2：

以最著名的皮尔森卡方检验为例，假设我们认为惯用手与性别无关，即原假设为惯用手与性别相互独立，并且我们得到的数据可以总结在一个列联表中：

-	男（期望）	女（期望）	总计
右	43（45.24）	44（41.76）	87
左	6（6.76）	4（6.24）	13
总计	52	48	100

其中的期望为在原假设下每种情况的期望次数，计算公式为：

$$E_{i,j}=\frac{({\sum }_{n_c=1}^c{O}_{i,n_c})\cdot ({\sum }_{n_r=1}^r{O}_{n_r,j})}{N}$$

其中N为样本大小。

统计值的计算公式为：

$${\chi }^2=\sum _{i=1}^r\sum _{j=1}^c\frac{(O_{i,j}-E_{i,j}{)}^2}{E_{i,j}}$$

根据上式可以计算本例中统计值为：

$${\chi }^2=\frac{(43-45.24{)}^2}{45.24}+\frac{(44-41.76{)}^2}{41.76}+\frac{(9-6.76{)}^2}{6.76}+\frac{(4-6.24{)}^2}{6.24}=1.777$$

而自由度为$(r-1)(c-1)=(2-1)(2-1)=1$。

查表可得在统计量为1.777，自由度为1的情况下p-值是0.1825，大于0.05，无法拒绝原假设，即无法拒绝惯用手与性别独立的假设。

另外值得一提的一点是不仅有卡方检验使用卡方分布，许多著名的统计检验也假设其统计量在原假设成立的情况下服从卡方分布。

由此，可以看出：
卡方检验可以研究类别变量之间是否相互关联或彼此独立

参考文献：
[1] 卡方 机器之心
[2] 卡方检验 维基百科
[3] 分类数据与卡方检验 知乎
[4] 统计 可汗学院