1. 两种风险

如果我们的是我们的阳性结果（一般来说，我们都希望拒绝得到所谓的显著性差异），假设的结果和事实之间，可能是如下这种关系：

判断\事实	为真	为假
接受	TN（真阴性）	FN（假阴性）
拒绝	FP（假阳性）	TP（真阳性）

其中假阳性就是所谓的第一类错误，假阴性就是第二类错误的风险。在数学的概念中，分别叫做 “弃真”、“取伪”。

此外，还有一些定义需要知道：

假阳性率
即在所有阴性的事实中，判断成阳性的比率是多少。
假阴性率
在所有阳性的事实中，判断为阴性的比率。
真阳性率
在所有阳性的事实中，判断为阳性的比率。
真阴性率
在所有阴性的事实中，判断为阴性的比率。
显著性水平
即犯第一类错误（假阳性）的概率，即假阳性率（FPR），通常用表示，

2. 功效函数

对于我们的假设，可能并不是合适的。比如，，这个可能只是我们自己拍脑袋决定的。因此对于这个，不同的取值之间，我们的样本落在拒绝域的概率是不一样的。
这时候就需要一个关于函数，对于其不同的取值，计算这个概率，以评价在当前样本下，我们的最优的假设应该是什么取值。这个函数就是功效函数。为：

是在显著性水平下的拒绝域。

3. 功效

功效的定义与功效函数有点区别，更接近拒绝域原来的意义。是指在为假的情况下，样本落在拒绝域的概率，也就是备择假设的功效。

事实上为真
此时可能犯第一类错误，弃真而出现假阳性。第一类风险的概率(FPR)为。
事实上为假
此时可能犯第二类错误，取伪而出现假阴性。第二类风险的概率(FNR)为。
功效的定义是
在备择假设成立时，样本落在拒绝域的概率。也有的定义是1-第二类风险（假阴性），即，也即，此时，功效的定义即：
其他的定义
也有的教科书，为了简化定义，就直接定义第一类错误的概率为，第二类错误的概率为，功效为。如果不是从功效函数那里继承下来这种符号标记，我也倾向于这种更简洁的记法。

4. 两类错误不能同时变小

这两类错误都是我们不希望见到的。乍一看，这句话很对啊，毕竟二者发生的概率相加得1。

功效函数(势函数)

（这个图来源于百度百科_功效函数）

但是细一想，这两种错误是来源于不同情况下的条件概率，应该是关系不大的。为啥二者扯上关系啦？
我的理解是，我们最难的就是知道总体的绝对真实情况，我们有的只有有限的样本。我们只能根据这些有限的样本、显著性水平和我们假设的计算功效函数，但是并不知道总体的真实情况。因此，站在不精确世界的角度上，我们有的只是这两个条件概率，这两个风险，这两个犯错误的概率。我们扩大样本、改变显著性水平等，对他们是同时改变的，因此是不能一起降低的。

5. 功效分析

功效分析(Power Analysis)可以帮助我们设计实验。该分析涉及到以下四个量，知道三个就可以推算第四个。

功效：TPR，即正确发现阳性的概率
显著性水平：FPR
样本大小：即样本的数目n
效应值(effect size, ES)：样本间差异或相关程度的量化指标，即标准化了的真假（或者差异）的阈值。

具体的功效分析，可以用于比例检验、t检验、卡方检验、ANOVA、相关性分析、线性模型分析等。

6. 效应值ES的计算

待续。。。

参考书目:

1.高等工程数学，吴孟达，李兵等编著，科学出版社，P150
2.R语言实战（第二版），Robert I. Kabacoff，中国工信出版集团&人民邮电出版社，第10章功效分析
3.百度百科_功效函数

功效函数