岭回归（Ridge Regression）在机器学习里就是一种改进的最小二乘。

其本质是如果用传统的最小二乘，那么个别异常值可能对结果影响非常大（因为最小二乘法对异常值是非常敏感的）。

所以用了这个改进的方法。引入正则系数可以消除异常值，优化模型。

具体介绍如下：

最小二乘：

最后一步成立的条件是

可逆，可逆的条件是满秩，如果不满秩我们就要处理一下：

，直觉上这样是不是就可以把不满秩的变成满秩了，最小二乘就有解了，为什么想到这样做呢？

我们再看下岭回归：

换成矩阵写法：

，这个是不是和上面的一致了。

总结：岭回归是加了2范数正则下的最小二乘。当我们的feature之间完全共线性(使有解)或者相关程度异常高(使有稳定解)的时候，适合使用岭回归。