机器学习模型的生命周期可以分为以下步骤：
- 数据采集
- 数据预处理
- 特征工程
- 特征选择
- 建筑模型
- 超参数调整
- 模型部署
要构建模型就必须要对数据进行预处理。特征转换是这个过程中最重要的任务之一。在数据集中，大多数时候都会有不同大小的数据。为了使更好的预测，必须将不同的特征缩小到相同的幅度范围或某些特定的数据分布。
什么时候需要特征转换
在 K-Nearest-Neighbors、SVM 和 K-means 等基于距离的算法中，它们会给具有较大值的特征更多的权重，因为距离是用数据点的值计算的。如果我们提供算法未缩放的特征，预测将受到严重影响。在线性模型和基于梯度下降优化的算法中，特征缩放变得至关重要，因为如果我们输入不同大小的数据，将很难收敛到全局最小值。使用相同范围的值，算法学习的负担就会减轻。
什么时候不需要特征转换
大多数基于树型模型的集成方法不需要特征缩放，因为即使我们进行特征转换，对于熵的计算也不会发生太大变化。所以在这样的算法中，除非特别需要，一般情况下不需要缩放。
特征转换的方法
特征转换的方法有很多种，本文中将总结一些有用和流行的方法。
- Standardization
- Min — Max Scaling/ Normalization
- Robust Scaler
- Logarithmic Transformation
- Reciprocal Transformation
- Square Root Translation
- Box Cox Transformation
Standardization 标准化
当输入数据集的特征在范围之间有很大差异或以不同的测量单位（如高度、重量、米、英里等）进行测量时，应使用标准化。我们将所有变量或特征带到相似的规模。其中均值为 0，标准差为 1。
在标准化中，我们用平均值减去特征值，然后除以标准差，得到完全标准的正态分布。
Min — Max Scaling / Normalization
简单来说，最小最大缩放将特征值缩小到 0 到 1 的范围。或者我们也可以指定缩放的范围。
对于Normalization（归一化）：会将特征值减去其最小值，然后除以特征范围（特征范围=特征最大值-特征最小值）。
Robust Scaler
如果数据集有太多异常值，则标准化和归一化都很难处理，在这种情况下，可以使用 Robust Scaler 进行特征缩放。
从名字就可以看出 Robust Scaler 对异常值很健壮。它使用中位数和四分位数范围来缩放值，因此它不会受到非常大或非常小的特征值的影响。Robust Scaler用其中值减去特征值，然后除以它的 IQR。
- 第 25 个百分位数 = 第1个四分位数
- 第 50 个百分位数 = 第 2 个四分位数（也称为中位数）
- 第 75 个百分位数 = 第 3 个四分位数
- 第 100 个百分位数 = 第 4 个四分位数（也称为最大值）
- IQR=四分位间距
- IQR= 第三四分位数 - 第一个四分位数
高斯转换
一些机器学习算法（如线性回归和逻辑回归）都假设我们提供给它们的数据是正态分布的。所以如果数据是正态分布的，则此类算法往往性能更好并提供更高的准确性，标准化偏态分布在这里变得很重要。
但是大多数时候数据会出现偏差，需要使用算法将其转换为高斯分布，并且在确定一种方法之前需要尝试几种方法，因为不同的数据集往往有不同的要求，我们无法适应一种方法 所有的数据。
在本文中我们将仅使用来自泰坦尼克数据集来进行演示，下面绘制年龄直方图和 QQ 图。
下图是特征缩放之前的年龄特征
1、对数转换 Logarithmic Transformation
在对数转换中，我们将使用 NumPy 将 log 应用于所有特征值，并将其存储在新特征中。
从图中可以看到使用对数转换似乎不太适合这个数据集，它甚至会使数据偏斜，从而恶化分布。所以必须依靠其他方法来实现正态分布。
2、倒数转换 Reciprocal Transformation
在倒数转换中，我们将特征的每个值除以 1（倒数）并将其存储在新特征中。
很明显倒数转换也不适用于这些数据，它没有给出正态分布，而是使数据更加偏斜。
3、平方根转换 Square Root Translation
在平方根转换中，我们将特征计算平方根。使用 NumPy 可以方便的进行这种转换。
看样子似乎比倒数和对数转换更好的适应这个数据，但它是有点左倾斜。
4、Box Cox
Box Cox 转换是将数据分布转换为正态分布的最有效的转换技术之一。
Box-Cox 转换可以定义为：
T(Y)=(Y exp(λ)−1)/λ
其中 Y 是响应变量，λ 是转换参数。λ 从 -5 变化到 5。在转换中，考虑所有 λ 值并选择给定变量的最佳值。
我们可以使用 SciPy 模块中的stat来计算 box cox 转换。
到目前为止，box cox似乎是最适合年龄特征转换的方法。
总结
还有其他技术可以执行以获得高斯分布，但大多数时候以上的方法中的一种基本上就能满足数据集的要求。另外要说明的一点是，这些转换不仅仅适用于特征，对于回归来说我们还可以将其应用到目标中来获得更好的表现。
https://www.overfit.cn/post/0883fd2071ca4a9cb2b6ea32d2cdbc69
作者：Parth Gohil