稳健回归其主要思路是将对异常值十分敏感的经典最小二乘回归中的目标函数进行修改。经典最小二乘回归以使误差平方和达到最小为其目标函数。因为方差为一不稳健统计量，故最小二乘回归是一种不稳健的方法。为减少异常点的作用，对不同的点施加不同的权重，残差小的点权重大，残差大的店权重小。