线性回归有离群值也不怕？稳健回归-文章-SPSSPRO社区

传统的线性回归的模型，都是基于最小二乘法来实现的。但是，当数据样本点出现很多的异常点，这些异常点对回归模型的影响会非常的大，传统的基于最小二乘的回归方法将不适用。

比如下图中所示，数据中存在5个异常点，如果不剔除改点，适用OLS方法来做回归的话，那么就会得到途中黄色的那条线；如果将这5个异常点剔除掉的话，那么就可以得到图中红色的那条线。显然，红色的线比黄色的线对数据有更强的解释性，这就是OLS在做回归分析时候的弊端。

当然，可以考虑在做回归分析之前，对数据做预处理，剔除掉那些异常点。但是，在实际的数据中，存在两个问题：

异常点并不能很好的确定，并没有一个很好的标准用于确定哪些点是异常点
即便确定了异常点，但这些被确定为异常的点，真的是错误的数据吗？很有可能这看似异常的点，就是原始模型的数据，如果是这样的话，那么这些异常的点就会带有大量的原始模型的信息，剔除之后就会丢失大量的信息。

1 稳健回归概述

1.1 适用条件

稳健回归（RANSAC），用于当线性回归（OLS）遇到样本点存在异常点的时候，用于代替最小二乘法的一个算法。同时稳健回归还可以用于异常点检测，或者是找出那些对模型影响最大的样本点。

1.2 模型理论

估计的稳健性概念指的是在估计过程中产生的估计量对模型误差的不敏感性。

因此，稳健估计是在较宽的资料范围内产生的优良估计。如在独立同分布正态误差的线性模型中，最小二乘估计（LSE）是有效无偏估计，而当误差是非正态分布时，LSE 不一定是最有效的。误差分布事先不一定知道，故有必要考虑稳健回归的问题。

稳健回归估计，若误差为正态，它比 LSE 稍差，若误差为非正态，则比 LSE 要好得多。这种对误差项分布的稳健特性，常能有效排除异常值干扰。一般回归模型：

其中，β1，β2，…，βp 为未知回归系数，e1，e2，…，en 独立同分布，均值为 0。最小二乘法是找到一组 β1,β2,…,βp，使得表达式：

达到最小时作为代价函数。但这样做往往使得远离数据群体的数据（很可能是异常值）对残差平方和影响比其他数据大得多，因为 LSE 为了达到极小化残差平方和的目的，必须迁就远端的数据，所以异常值对于参数估计相当敏感。

稳健回归的基本思想是采用迭代加权最小二乘估计回归系数，根据回归残差的大小确定各点的权重 wi，以达到稳健的目的，其优化的目标函数 Gmin 为：

为减少“异常点”作用，可对不同的点施加不同的权重，即对残差小的点给予较大的权重，而对残差较大的点给予较小的权重。根据残差大小确定权重，并据此建立加权的 LSE，反复迭代以改进权重系数，直至权重系数的改变小于一定的允许误差。参数 βj 可采用迭代加权最小二乘方法求解。目前构造权重的方法很多，得到的稳健回归估计大同小异。