简单易懂的人工智能系列:假设检验

统计假设检验(Hypothesis Test)

统计假设检验(Hypothesis Test):事先对总体的参数或者分布做一个假设,然后基于已有的样本数据去判断这个假设是否合理。即样本和总体假设之间的不同是纯属机会变异(因为随机性误差导致的不同),还是两者确实不同。常用的假设检验的方法有 t-检验法,(卡方检验),F-检验法等

基本思想:

简单易懂的人工智能系列:假设检验_第1张图片

假设检验的步骤

第一步,根据具体的问题,建立假设:

简单易懂的人工智能系列:假设检验_第2张图片

简单易懂的人工智能系列:假设检验_第3张图片

如果原假设被拒绝(在原假设成立的情况下,计算的到的p值—成立的概率,小于了显著性检验水平,也就是原假设不可能发生),说明备择假设成立,而原假设没被拒绝(在原假设成立的情况下,计算的到的p值—成立的概率,大于了显著性检验水平,只是说明原假设可能发生),说明需要更多的证据来支持原假设是否成立。

第二步,确定检验水准(显著性水平):

简单易懂的人工智能系列:假设检验_第4张图片

第三步,构造统计量:

根据资料类型,研究设计方案和统计推断的目的,选用适当检验方法和计算相应的统计量。

简单易懂的人工智能系列:假设检验_第5张图片

常用检验方法:

选择依据:

简单易懂的人工智能系列:假设检验_第6张图片

第四步,计算P值(概率):

简单易懂的人工智能系列:假设检验_第7张图片关于p值:

FmJDi0BuP9F_guNTce5Dh4GbU_mMuploading.4e448015.gif转存失败重新上传取消

对于P值,当P > a 时,只能说明不能拒绝原假设,但是也不能说明原假设是否就成立(需要收集更多的资料证据)

通过p值判断结论:

简单易懂的人工智能系列:假设检验_第8张图片

简单易懂的人工智能系列:假设检验_第9张图片

我们回顾一下掷硬币的问题,掷n次都是正面是已经发生的事实,实际上我们是希望硬币有问题(也就是我们是想拒绝的假设是硬币没有问题),而通过计算,统计量为 二项分布,计算出来的p值当连续5次就已经小于显著性水平a = 0.05,因此,我们可以在n >= 5 的情况下拒绝原假设。

假设检验的栗子:二项式检验

某工厂的一批产品,某次品率u 未知,按规定 如果 u <= 0.01,则该批产品就可以接受。随机取样100个,发现有3件次品,该批次产品是否达标?

简单易懂的人工智能系列:假设检验_第10张图片

得到结论:P 值大于显著性水平 a,不能拒绝原假设。即通过本次采样得到的样本数据,并不能证明原假设Ho成立。不能证明原假设成立,也不能证明它不成立。总之目前次品率到底是低于0.01还是如何,在没有更多证据的情况下,没有任何结论。

假设检验的栗子:T检验

简单易懂的人工智能系列:假设检验_第11张图片

得到结论:p值大于显著性水平a,不能拒绝原假设(活动无影响),即现有证据无法证明活动是否有影响。

假设检验在模型比较中的应用

以一元线性回归为例,可以使用假设检验作如下比较和推断:

简单易懂的人工智能系列:假设检验_第12张图片

对于一元回归,方程显著性检验和回归系数的显著性检验的原假设/备择假设是一样的,还有就是,在假设检验中,如果不拒绝原假设,即接受原假设而拒绝备择假设,意味着没有证据证明原假设是错误的,但是并不能肯定原假设一定是正确的。

你可能感兴趣的:(机器学习)