统计学相关tips

1、百分位数：
以身高为例，身高分布的第五百分位表示有5%的人的身高小于此测量值，95%的身高大于此测量值。
第p百分位数是这样一个值，它使得至少有p%的数据项小于或等于这个值，且至少有(100-p)%的数据项大于或等于这个值。
这样理解：一组数据从小到大排，百分位数代表的值处于排列中的位置。

2、归一化：
一、 归一化的作用是：将数据去掉量纲的影响。简单的讲，由于数据单位不一致，故需将不同的数据进行格式化，使之在指定的范围内 （比如在0~1之间）。

二、归一化方法：

1、线性函数转换：y=(x-MinValue)/(MaxValue-MinValue)
说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。
2、对数函数转换:y=lg(x)
说明：以10为底的对数函数转换。
3、反余切函数转换：y=atan(x)*2/pi
4、#### Z-score标准化方法 —— 针对正态分布的数据

这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，转化函数为：

clip_image004

其中

clip_image006

为所有样本数据的均值，

clip_image008

为所有样本数据的标准差。

3、智奇真的好聪明啊(╥╯^╰╥) 人和人的智商差别真是蛮大的。。。——？？？我什么时候写的这个！！！他就是大傻X。。。口亨~~~ 2018/7/17

4、

召回率VS精确率.png

• 召回率R：用实际检索到相关文档数作为分子，所有相关文档总数作为分母，即R = A / ( A + C )
• 精度P：用实际检索到相关文档数作为分子，所有检索到的文档总数作为分母，即P = A / ( A + B )
  举例来说：
  一个数据库有500个文档，其中有50个文档符合定义。系统检索到75个文档，但是实际只有45个符合定义。则：
  召回率R=45/50=90%
  精度P=45/75=60%

F1分数（F1 score），又叫平衡F分数（balanced F Score），定义为召回率和精度的调和平均数。

F1 分数.png

Generally，定义Fβ分数为：

Fβ分数.png

除了 F1 分数之外，F2 分数和 F0.5 分数在统计学中也得到大量的应用。其中，F2 分数中，召回率的权重高于准确率，而 F0.5 分数中，准确率的权重高于召回率。在合并的过程中，召回率的权重是准确率的 β 倍

G分数是另一种统一准确率和召回率的系统性能评估标准。

F分数是准确率和召回率的调和平均数，G分数被定义为准确率和召回率的几何平均数。

G分数.png

5、第一个阶段是，做出各种相关或者不相关的但是有意义的统计指标；
第二个阶段是，定义任务，从各种统计指标中找出“可能”与任务有关联的指标，从视觉上看
第三个阶段是，基于这些指标和任务的目标（比如养猪收益最大，或者养猪存活率最高）做优化函数，我们的客户的任务或者目标可能是很发散。
我们要先把第一个阶段做多，把第二个阶段中的代表性任务定义出来。
然后才去搞第三个阶段的方法。

6、数据不均衡的问题：http://ai.51cto.com/art/201703/535736.htm#topx