卡方校验

校验二分类特征相关性

image.png

1.1 统计样本集中文档总数（N）。

1.2 统计每个词的正文档出现频率（A）、负文档出现频率（B）、正文档不出现频率）、负文档不出现频率。

1.3 计算每个词的卡方值，公式如下：

卡方公式

1.4 将每个词按卡方值从大到小排序，选取前k个词作为特征，k即特征维数。

在文本分类的特征选择阶段中，我们主要关心一个问题：词条t与类别C是否相互独立
1）相互独立，说明词条t对类别c完全没有表征能
2）不独立，说明词条t对类别c有一定的表征能力

卡方检验的缺点是：它只统计文档是否出现词，而不管出现了几次。这会使得他对低频词有所偏袒（因为它夸大了低频词的作用）。

多分类中也是能够运用卡方校验进行特征选择

image.png

式中n为总例数；A为各观察值；nR和nC为与各A值相应的行和列合计的总数。

参考博客
[ https://www.cnblogs.com/liyongzhao/articles/3369117.html ]