特征提取与转换

特征提取与转换

标准化（StandardScaler）

标准化是指：对于训练集中的样本，基于列统计信息将数据除以方差或（且）者将数据减去其均值（结果是方差等于1，数据在0附近）。这是很常用的预处理步骤。

例如，当所有的特征具有值为1的方差且/或值为0的均值时，SVM的径向基函数（RBF）核或者L1和L2正则化线性模型通常有更好的效果。

标准化可以提升模型优化阶段的收敛速度，还可以避免方差很大的特征对模型训练产生过大的影响。

归一化（Normalizer）

归一化是指将每个独立样本做尺度变换从而是该样本具有单位^Lp范数。这是文本分类和聚类中的常用操作。例如，两个做了L2归一化的TF-IDF向量的点积是这两个向量的cosine（余弦）相似度。

特征选择

Feature selection特征选择是指为建模过程选择最相关的特征。特征选择降低了向量空间的大小，从而降低了后续向量操作的时间复杂度。选择的特征的数量可以通过验证集来调节。

卡方选择（ChiSqSelector）

ChiSqSelector是指使用卡方（Chi-Squared）做特征选择。该方法操作的是有标签的类别型数据。ChiSqSelector基于卡方检验来排序数据，然后选出卡方值较大(也就是跟标签最相关)的特征（topk)。