CTR 预测理论（二十一）：数据预处理总结
数据预处理作为算法工程师的基本功，其预处理往往需要结合数据、模型、训练目标等多方面要求，现整合目前现有资料，做一个总结，后续再陆续添加。
1. 数据清理
数据清理(data cleaning) 的主要思想是通过填补缺失值、光滑噪声数据，平滑或删除离群点，并解决数据的不一致性来“清理“数据。如果用户认为数据时脏乱的，他们不太会相信基于这些数据的挖掘结果，即输出的结果是不可靠的。
1.1 缺失值的处理
由于现实世界中，获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值的处理方法，主要是基于变量的分布特性和变量的重要性（信息量和预测能力）采用不同的方法。主要分为以下几种：
- 删除变量：若变量的缺失率较高（大于80%），覆盖率较低，且重要性较低，可以直接将变量删除。
- 定值填充：工程中常见用 -9999 进行替代
- 统计量填充：若缺失率较低（小于 95%）且重要性较低，则根据数据分布的情况进行填充。对于数据符合均匀分布，用该变量的均值填补缺失，对于数据存在倾斜分布的情况，采用中位数进行填补。
- 插值法填充：包括随机插值，多重差补法，热平台插补，拉格朗日插值，牛顿插值等
- 模型填充：使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测。
- 哑变量填充：若变量是离散型，且不同值较少，可转换成哑变量，例如性别SEX变量，存在male,fameal,NA三个不同的值，可将该列转换成 IS_SEX_MALE, IS_SEX_*FEMALE, IS_SEX_NA。若某个变量存在十几个不同的值，可根据每个值的频数，将频数较小的值归为一类’other’，降低维度。*此做法可最大化保留变量的信息。
总结来看，楼主常用的做法是：先用pandas.isnull.sum()检测出变量的缺失比例，考虑删除或者填充；
若需要填充的变量是连续型，看下该特征分布，均匀分布采用平均值，分布跳动比较大采用中位数（因为分布变动较大或者有离群点时，平均值容易受分布和离群值影响）；
若变量是离散型，通常采用中位数或众数或直接归为一类进行填充。
需要注意的是，当特征分布跳动厉害或者存在异常值、离群点时候使用平均值会受离群点影响，这种情况更适宜采用中位数或者众数；
对于缺失值比例较少的特征（少于95%），其特征又较为重要的特征，可以采用进行模型填充，但模型预测同样有讲究，如果最终模型预测采用树模型，这时候进行模型填充缺失值时，更适合采用线型模型（如 LR），因为 LR 是线性模型，其预测逻辑的乘积加和方式对于树模型是有意义的，若都采用树模型，通过特征联立判定分类或者回归结果，其对最终的树模型带来的信息冗余比较大（因为从某种意义上讲，既然该特征值可以通过其他特征值推导出来，证明该特征的信息已经包含在特征中，这列特征的信息量本来就很小了）；
同理，如果最终模型是线性模型（如 LR, 神经网络模型），则可以通过树模型进行缺失值填充，其填充逻辑为树模型的联立特征判定，对最终预测模型也是一种信息补充。
**注意：**若对变量进行分箱离散化，一般会将缺失值单独作为一个箱子（离散变量的一个值）
1.2 离群点处理
异常值是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。异常分为两种：“伪异常”，由于特定的业务运营动作产生，是正常反应业务的状态，而不是数据本身的异常；“真异常”，不是由于特定的业务运营动作产生，而是数据本身分布异常，即离群点。主要有以下检测离群点的方法：
- 简单统计分析：根据箱线图、各分位点判断是否存在异常，例如 pandas 的 describe 函数可以快速发现异常值。
- 3 σ 3\sigma 3σ 原则：若数据存在正态分布，偏离均值的之 3 σ 3\sigma 3σ 外. 通常定义 P ( ∣ x − μ ∣ > 3 σ ) < = 0.003 P(|x-\mu|>3\sigma)<=0.003 P(∣x−μ∣>3σ)<=0.003 范围内的点为离群点。
- 基于绝对离差中位数（MAD）：这是一种稳健对抗离群数据的距离值方法，采用计算各观测值与平均值的距离总和的方法。放大了离群值的影响。
- 基于距离：通过定义对象之间的临近性度量，根据距离判断异常对象是否远离其他对象，缺点是计算复杂度较高，不适用于大数据集和存在不同密度区域的数据集
- 基于密度：离群点的局部密度显著低于大部分近邻点，适用于非均匀的数据集
- 基于聚类：利用聚类算法，丢弃远离其他簇的小簇。
总结来看，在数据处理阶段将离群点作为影响数据质量的异常点考虑，而不是作为通常所说的异常检测目标点，因而楼主一般采用较为简单直观的方法，结合箱线图和 MAD 的统计方法判断变量的离群点。
具体的处理手段：
- 根据异常点的数量和影响，考虑是否将该条记录删除，信息损失多
- 若对数据做了 log-scale 对数变换后消除了异常值，则此方法生效，且不损失信息
- 平均值或中位数替代异常点，简单高效，信息的损失较少
- 在训练树模型时，树模型对离群点的鲁棒性较高，无信息损失，不影响模型训练效果
1.3 噪声处理
噪声是变量的随机误差和方差，是观测点和真实点之间的误差，即 o b s = x + ε obs = x + \varepsilon obs=x+ε。通常的处理办法：对数据进行分箱操作，等频或等宽分箱，然后用每个箱的平均数，中位数或者边界值（不同数据分布，处理方法不同）代替箱中所有的数，起到平滑数据的作用。另外一种做法是，建立该变量和预测变量的回归模型，根据回归系数和预测变量，反解出自变量的近似值。
2. 数据规约
数据归约技术可以用来得到数据集的归约表示，它小得多，但仍接近地保持原数据的完整性。 这样，在归约后的数据集上挖掘将更有效，并产生相同(或几乎相同)的分析结果。一般有如下策略：
2.1 维度规约
用于数据分析的数据可能包含数以百计的属性，其中大部分属性与挖掘任务不相关，是冗余的。维度归约通过删除不相关的属性，来减少数据量，并保证信息的损失最小。
**属性子集选择：**目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性的原分布。在压缩 的属性集上挖掘还有其它的优点。它减少了出现在发现模式上的属性的数目，使得模式更易于理解。
- 逐步向前选择：该过程由空属性集开始，选择原属性集中最好的属性，并将它添加到该集合
中。在其后的每一次迭代，将原属性集剩下的属性中的最好的属性添加到该集合中。 - 逐步向后删除：该过程由整个属性集开始。在每一步，删除掉尚在属性集中的最坏属性。
- 向前选择和向后删除的结合：向前选择和向后删除方法可以结合在一起，每一步选择一个最 好的属性，并在剩余属性中删除一个最坏的属性。
怎么有效估计特征的重要性？对当前学习任务有用的特征称为相关特征，而没什么用的特征称为无关特征，从给定的特征集选择特征的过程，称为特征选择；为什么要进行特征选择呢？有两个重要的原因，一个是避免维数灾难问题，另一个是，去除不相关的特征往往会降低学习任务的难度。特征选择的常用方法包括：过滤式选择、包裹式选择、嵌入式选择等等。
简单来说，过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关，这相当于先用特征选择过程对初识特征进行“过滤”，然后再用过滤后的特征来训练模型。比如，Relief方法。
包裹式选择特征不考虑后续学习器不同，包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价准则。换言之，包裹式特征选择的目的就是为给定学习器选择最有利于其性能，量身定做的特征子集。包裹式选择比过滤式特征选择更好，但是另一方面，计算开销却要大得多。比如LVW方法（Las Vegas Wrapper)。
嵌入式特征选择是将特征选择过程与学习器训练过程融为一体，两者在同一个优化过程中优化，即在学习器训练过程中自动进行了特征选择。比如，L1正则化、决策树学习等。
python scikit-learn 中的递归特征消除算法Recursive feature elimination (RFE)，就是利用这样的思想进行特征子集筛选的，一般考虑建立SVM或回归模型。
单变量重要性： 分析单变量和目标变量的相关性，删除预测能力较低的变量。这种方法不同于属性子集选择，通常从统计学和信息的角度去分析。
- pearson相关系数和卡方检验，分析目标变量和单变量的相关性。
- 回归系数：训练线性回归或逻辑回归，提取每个变量的表决系数，进行重要性排序。
- 树模型的Gini指数：训练决策树模型，提取每个变量的重要度，即 Gini 指数进行排序。
- Lasso正则化：训练回归模型时，加入 L1 正则化参数，将特征向量稀疏化。
- IV指标：风控模型中，通常求解每个变量的IV值，来定义变量的重要度，一般将阀值设定在0.02以上。
以上提到的方法，没有讲解具体的理论知识和实现方法，需要同学们自己去熟悉掌握。楼主通常的做法是根据业务需求来定，如果基于业务的用户或商品特征，需要较多的解释性，考虑采用统计上的一些方法，如变量的分布曲线，直方图等，再计算相关性指标，最后去考虑一些模型方法。如果建模需要，则通常采用模型方法去筛选特征，如果用一些更为复杂的 GBDT，DNN 等模型，建议不做特征选择，而做特征交叉。
特征规约其实就是特征选择，具体可参考个人博客：CTR 预测理论（二十）：特征选择总结
2.2 维度变换
维度变换是将现有数据降低到更小的维度，尽量保证数据信息的完整性。楼主将介绍常用的几种有损失的维度变换方法，将大大地提高实践中建模的效率
- 主成分分析（PCA）和因子分析（FA）：PCA通过空间映射的方式，将当前维度映射到更低的维度，使得每个变量在新空间的方差最大。FA则是找到当前特征向量的公因子（维度更小），用公因子的线性组合来描述当前的特征向量。
- 奇异值分解（SVD）：SVD的降维可解释性较低，且计算量比PCA大，一般用在稀疏矩阵上降维，例如图片压缩，推荐系统。
- 聚类：将某一类具有相似性的特征聚到单个变量，从而大大降低维度。
- 线性组合：将多个变量做线性回归，根据每个变量的表决系数，赋予变量权重，可将该类变量根据权重组合成一个变量。
- 流行学习：流行学习中一些复杂的非线性方法，可参考skearn：LLE Example
3. 数据变换
数据变换包括对数据进行规范化，离散化，稀疏化处理，达到适用于挖掘的目的。
3.1 规范化处理
数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，便于进行综合分析。特别是基于距离的挖掘方法，聚类，KNN，SVM一定要做规范化处理。
-
最大 - 最小规范化：将数据映射到[0,1]区间，
x n e w = x − x m i n x m a x − x m i n x_{new} = \frac{x-x_{min}}{x_{max}-x_{min}} xnew=xmax−xminx−xmin -
Z-Score标准化：处理后的数据均值为0，方差为1，
x n e w = x − x ˉ σ x_{new} = \frac{x-\bar{x}}{\sigma} xnew=σx−xˉ -
Log变换：在时间序列数据中，对于数据量级相差较大的变量，通常做 Log 函数的变换，
x n e w = log x x_{new} = \log x xnew=logx
数据规范化还是有讲究的，有机会再专门对此总结一篇，先 mark 一下。
3.2 离散化处理
数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点：
- 模型需要：比如朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算法，必须将离散型的数据进行。有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。
- 离散化的特征相对于连续型特征更易理解。
- 可以有效的克服数据中隐藏的缺陷，使模型结果更加稳定。
等频法：使得每个箱中的样本数量相等，例如总样本 n=100，分成 k=5 个箱，则分箱原则是保证落入每个箱的样本量=20。（等频法能保证数据离散化之后分布较为均匀，而等宽发无法保证）
等宽法：使得属性的箱宽度相等，例如年龄变量（0-100之间），可分成 [0,20]，[20,40]，[40,60]，[60,80]，[80,100] 五个等宽的箱。
聚类法：根据聚类出来的簇，每个簇中的数据为一个箱，簇的数量模型给定。
3.3 稀疏化处理
针对离散型且标称变量，无法进行有序的 LabelEncoder 时，通常考虑将变量做 0，1 哑变量的稀疏化处理，例如动物类型变量中含有猫，狗，猪，羊四个不同值，将该变量转换成 is_猪，is_猫，is_狗，is_羊 四个哑变量。若是变量的不同值较多，则根据频数，将出现次数较少的值统一归为一类 ‘rare’。稀疏化处理既有利于模型快速收敛，又能提升模型的抗噪能力。
参考文献
[1] 整理一份详细的数据预处理方法
[2] CTR 预测理论（二十）：特征选择总结