不只是线性回归（1）：稳健回归

Intro

线性回归（Linear Regression）是机器学习的基本方式，但为了提升其性能，人们发明了无数优化方式。这个“不只是线性回归”系列就是为了记录我在日常的学习中发现的，不只是简单的线性回归的算法、优化方式、数学原理等。

1. 稳健回归（Robust Regression）

稳健回归，顾名思义就是“稳健的”线性回归。它主要解决了一般线性回归受离群值（outliers）的问题，而这个问题主要体现在回归模型中使用的最小二乘法实现。

1.1 最小二乘法的问题

最小二乘法，是通过最小化误差（error）的平方和来寻找最佳回归函数的方法。它的本质是无偏估计，因此离群值的存在对它的有效性会有非常大的影响。

这个网址提供了一个小工具，可以非常方便的看到离群值对最小二乘法的巨大影响。可以看到图1中有一个60个数据点的数据集，并绘制出了一条蓝色的回归直线。在图2中，只是添加了三个离群值（右下角），就直接将回归结果的相关系数从0.77拉低到了0.43。

ols_1.png

图1：无离群值的OLS

ols_2.png

图2：添加离群值后的OLS

稳健回归，就非常好的解决了上面的问题。

1.2 对离群值的容忍度（Breaking Point）

稳健回归对离群值的处理基于一个可设定的参数：容忍度。这个参数决定了模型会将哪些离群值剔除出训练数据。在下面介绍的算法中，都可以找到相应的此参数。

1.3 RANSAC - 随机采样一致性算法

RANSAC算法其实是一种重采样的技术，它通过多次随机采样，得到更准确的剔除离群值影响的模型。它的一种常见计算步骤如下：

• 随机选择n个样本点（n是人为指定的模型所需最小样本点数量）；
• 根据这些样本得出回归模型；
• 根据上一步得到的模型计算所有样本点的残差（residual），将残差小于预设残差阈值的点归为inlier，其余是outlier；
• 判断inlier数量是否达到预设的样本数阈值，如果达到则说明模型足够合理，如果未达到则重复上述步骤。

从上面的算法步骤就能看出，RANSAC算法的有效性很大程度上取决于迭代次数，但它大部分时候还是可以得到一个不错的结果。

下面是用 sklearn 库的 RANSACRegressor 类实现的一个代码示例。

# -*- coding: utf-8 -*-

# 引入所需库
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression, RANSACRegressor
from sklearn import datasets
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# 借用Boston Housing的数据
data = datasets.load_boston()

df = pd.DataFrame(data.data, columns=data.feature_names)

# 选择LSTAT这个特征作为示例
X = df['LSTAT'].values.reshape(-1, 1)
y = data.target

X_train, X_test, y_train, y_test = train_test_split(X, y)

# 普通线性回归
lin_model = LinearRegression()
lin_model.fit(X_train, y_train)
lin_y_pred = lin_model.predict(X_test)

# RANSAC回归
ran_model = RANSACRegressor()
ran_model.fit(X_train, y_train)
ran_y_pred = ran_model.predict(X_test)
inlier_mask = ran_model.inlier_mask_
outlier_mask = np.logical_not(inlier_mask)

# 评价两个模型的效果
plt.figure(figsize=(15,10))

plt.scatter(X_train[inlier_mask], y_train[inlier_mask], c='green', label='Inliers')
plt.scatter(X_train[outlier_mask], y_train[outlier_mask], c='red', label='Outliers')
plt.plot(X_test, lin_y_pred, '-k', label='LR')
plt.plot(X_test, ran_y_pred, '-b', label='RANSAC')
plt.legend(loc='upper right')
plt.show()

最后绘制出的图表如下，可以看出RANSAC模型得出的结果会更加精确且成功排除了大量离群值。

ran_1.png

图3：RANSAC模型与普通线性回归对比

Summary

其实稳健回归还有很多其他的模型，如提尔森回归（Theil-sen）等。
它们各有各的适用范围，例如上面的提尔森回归据说更适合多维的回归（我并没有自己研究过...）。