Evaluation

这个被问过两次，正好有个契机重新回顾下：

1.p-value解释

p-value 会条件反射0.05，即假设检验p(A|h0)(拒绝域的概率)

若p<0.05，那么可以认为是小概率事件，接受原假设。

但是若出现h0本来是正确的，但居然发生了A事件，错误地否定了h0，称之犯了第一类错误

α即显著性水平（一般取0.05），控制犯第一类错误的概率，α越小，弃真概率越小

举个例子：假设100个球99个白球1个黑球，然后一抽就抽中黑球，即若入拒绝域，推翻原假设

第一类与第二类错误

一般来说，第一类错误（弃真FN）与第二类错误（取伪FP）有conflicts

从上图看，若临界值uα小（往左移），第二类错误β变小（即阴影面积越小），第一类错误α变大

实际中，一般控制α/β在一个固定数，然后尽可能减少另一类β/α，结合实际问题：

（1）若是疾病预测，那么应该尽可能减少α，有病误判成无病尽可能小（无病判成有病则显得不那么重要）

（2）若是价格昂贵的商品不合格产品判别（不合格为1），那么应该尽可能减少β，明明是合格产品误判成不合格，代价就很大

（1）（2）问题也分别可以对应ML里的higher recall & higher precision

2.假设检验步骤：

1.设定原假设，设定h0,h1

2.根据实际情况建立统计检验量（基于正态分布的假设）

3.确定h0的否定域

实际上是我们根据统计检验量和α显著性水平，计算出临界值，和临界值作比较

3.回归假设检验本质，因为我们只能获取到样本信息，所以做假设检验，去预估实际情况，如果本身能就得到总体数据，直接根据总体做判断，也就不涉及到假设检验，不涉及显著性水平。（曾经被挖坑的教训）