特征选择-相关系数法F检验

F检验（F-test），最常用的别名叫做联合假设检验（英语：joint hypotheses test），此外也称方差比率检验、方差齐性检验。它是一种在原假设（null hypothesis, H0）之下，统计值服从F-分布的检验。

 

F检验的计算公式：

 

p值的计算：

       p值的计算是与假设检验有着密不可分的关系，p值为结果可信水平的一个递减指标，p值越大，我们越不能以为样本中变量的关联是总体中各变量关联的可靠指标。p值是将察看结果觉得有效即具有总体代表性的犯错概率。如p=0.05提醒样本中变量关联有5%的可能是由于偶然性造成的。即假设总体中任意变量间均无关联，我们反复相似试验，会发现约20个试验中有一个试验，我们所研讨的变量关联将等于或强于我们的实验结果。（这并不是说如果变量间存在关联，我们可得到5%或95%次数的雷同结果，当总体中的变量存在关联，反复钻研和发明关联的可能性与设计的统计学效率有关。）在许多钻研范畴，0.05的p值通常被以为是可接收过错的边界程度。

让我们用一个统计学的例子来描述p值的求取过程：

例如：假设某制药公司断言，鼾克能够在2周内治愈90%的患者。恰好一位医生在给患者开治疗药物时随机抽取了15名患者的治疗情况，统计他们是否被治愈，结果如下：

是否治愈	是	否
频数	11	4

根据抽样结果，这名医生对该药物的治疗效果表示失望，因此她想要否决该制药公司的断言。

1.确定原假设和备择假设

      那么她如果想要拒绝这个推论就需要检验鼻鼾药物是否至少能治愈90%的患者，因此原假设为：p=90%.即（H0：p=0.9）

而与原假设对立的结论被统计学称为备择假设，一般用H1表示。因此有医生认为制药公司对疗效的判断不准确，她认为治愈率不会达到90%，低于90%的概率比较大。此时我们能够确定备择假设为H1：p<0.9.

2.选择检验统计量

       由于我们需要检验是否有充足的证据反驳原假设。办法是：首先假设H0为真，然后寻找不利于H0的证据。在针对上述案例中，我们假设治愈概率为0.9，在X个样本人数中随机抽取15名患者的治疗情况，此时的X就称为检验统计量。因此检验统计量将服从二项分布，即：X~B（15,0.9）。而我们想要拒绝原假设又怎么办呢，这就需要根据样本结果，然后计算发生这个结果的概率—此时就需要求拒绝域来实现这一目的了。

3.确定拒绝域

      假设检验的拒绝域是一组数值，这组数值给出了反驳原假设的最极端的证据。再让我们回到医生的样本中，以便了解拒绝域的使用方法。如果治愈人数为90%或90%以上，这就与制药公司的断言吻合了。随着治疗人数的下降，制药公司的断言为真的可能性越来越小。

     下面是概率分布：

 

1）何时能够拒绝制药公司的断言呢？

     样本中得到成功治愈的患者人数越少，就可以用于反驳制药公司断言的证据就越有力。问题是：这些证据的强度达到多大时，我们能够坚决地拒绝原假设？

我们需要通过某种方法指出何时能够合理的拒绝原假设---指定一个拒绝域即可实现这一目的。如果鼻鼾患者的治愈人数位于拒绝域以内，我们就说有足够的证据可以反驳原假设；如果鼻鼾患者的治愈人数位于拒绝域以外，我们就承认没有足够的证据可以反驳原假设，并接受制药公司的断言。我们把拒绝域的分界点称为“c”----临界值。

 

2）如何选择临界值

     提到临界值，就不得不谈下显著性水平。这也是求取拒绝域必须先定下的参数，检验的显著性水平所量度的是一种愿望，即：希望在样本的结果的不可能程度达到多大时，就拒绝原假设H1.像置信区间的置信水平一样，显著性水平以百分数表示。

假设我们想以5%为显著性水平检验只要公式的断言，这说明我们选取的拒绝域应使得“鼻鼾患者的治愈人数小于c”的概率小于0.05，即概率分布最低端的5%部分。

 

显著性水平通常用希腊字母α表示。α越小，为了拒绝H0，样本结果需要达到的不可能程度越高。

所以上述过程的公式化表达为：

 

一般情况下α由人为确定，概率的值也可以通过查表的方式获取。

补充小知识（单边检验，双边检验）：

      两者的区别主要看X

单边检验：

 

双边检测：

 

4.求取p值

 

      P值的求取取决于拒绝域和检验统计量。对于鼾克检验来说，治愈人数为11人，而拒绝域位于分布的最低端，于是P值为（P(X<=11)）,其中X为样本中的治愈人数的分布。

由于显著水平为5%，说明如果P（X<=11）小于0.05，则落在拒绝域中，这时我们可以拒绝原假设。

要计算P的值，这时我们要回想起前面我们谈到了X是服从B（15,0.9）的二项分布的，因此我们的P（X<=11）的计算结果就为：

好了，最终我们求得p值为0.0555.此时的样本不在拒绝域内，说明制药厂的断言还不足以被推翻。

以上内容转自https://blog.csdn.net/zijinmu69/article/details/80564566

在机器学习特征选择中

常用来计算各个特征属性对于目标值对相关系数以及相关系数对P值，然后选取大于阈值对特征属性。