机器学习之特征生成

3.3.1 组合特征

对于特征的处理，我们沿用了目前业内通用的办法，比如归一化、标准化、离散化等。但值得一提的是，我们将很多组合特征引入到模型训练中。因为不同特征之间的组合是非常有效的，并有很好的可解释性，比如我们将"商户是否在用户常驻地"、"用户是否在常驻地"以及"商户与用户当前距离"进行组合，再将数据进行离散化，通过组合特征，我们可以很好的抓住离散特征中的内在联系，为线性模型增加更多的非线性表述。组合特征的定义为：

（特征组合部分很受启发）

3.3.2 归一化

归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为“单位向量”。在实际工程中，我们运用了两种归一化方法：

Min-Max：

Min是这个特征的最小值，Max是这个特征的最大值。

Cumulative Distribution Function（CDF）：CDF也称为累积分布函数，数学意义是表示随机变量小于或等于其某一个取值x的概率。其公式为：

在我们线下实验中，连续特征在经过CDF的处理后，相比于Min-Max，CDF的线下AUC提高不足0.1%。我们猜想是因为有些连续特征并不满足在（0，1）上均匀分布的随机函数，CDF在这种情况下，不如Min-Max来的直观有效，所以我们在线上采用了Min-Max方法。

3.3.3 快速聚合

为了让模型更快的聚合，并且赋予网络更好的表现形式，我们对原始的每一个连续特征设置了它的super-liner和sub-liner，即对于每个特征x，衍生出2个子特征：

实验结果表示，通过对每一个连续变量引入2个子特征，会提高线下AUC的表现，但考虑到线上计算量的问题，并没有在线上实验中添加这2个子特征。

PS：其实特征生成的方式还有很多，这里只是略举几例。。。