套索回归导致稀疏，而岭回归则不会！–展开数学
很多时候我们都遇到过这种说法–套索回归导致稀疏性，而里奇回归则不会！但是我很确定我们大多数人可能还不了解这是如何工作的。让我们尝试使用演算来理解这一点。
稀疏性和正则化
首先，让我们了解什么是稀疏。我们都熟悉过拟合问题，在该模型中，模型在观察到的数据上表现非常出色，而在看不见的数据上却表现不佳。我们也知道使用套索和岭回归来解决这个问题。两种方法之间的差异主要在于这些算法执行正则化的方式。
正则化主要针对正确的特征选择，以避免过度拟合。通过优化赋予功能的重要性，可以实现正确的功能选择。Lasso回归通过完全减少对某些特征的重视程度（使权重为零）来实现正则化，而ridge回归通过减少对某些特征的重视程度而不是使特征的重要性无效来实现正则化。因此，可以说套索回归导致稀疏，而岭回归则不会。但是，这实际上是如何发生的呢？
展开数学
让我们考虑一个回归场景，其中“ y”是预测向量，“ x”是特征矩阵。基本上，在任何回归问题中，我们都尝试将平方误差最小化。令“ β”为参数的向量（特征重要性的权重），而“ p”为特征的数量。  
Ridge回归也称为L2回归，因为它使用L2范数进行正则化。在岭回归中，我们试图最小化下面的函数wrt'β  ' ，以便找到最佳的'β'。因此，我们正在尝试最小化以下功能：
岭套索回归-最小化
上式中的第一项是平方误差，第二项是正则化。我们正试图了解是否减少大号2 WRTβ导致稀疏性（β我→0，对于任何i）。稀疏性会导致特征选择，因为某些特征的权重会降低。如果相应的权重稀疏为特征的“i”来实现β我变为零。这里的“ λ”是正则化参数。为简单起见，设p = 1和 β我= β。现在，
岭套索回归-L2
将一阶条件应用于局部最小值，我们知道“β”是最小值（β*），
岭套索回归-偏导数
要么，
替代方程
意思是，
简化版
对于稀疏性，β* = 0，仅当λ→∝时才可能发生 。因此，很明显，岭回归不会导致稀疏性。仅当正则化参数为无穷大时，它才可能导致稀疏。因此，在所有实际情况下，如果我们采用岭回归来实现正则化，则每个特征总是会有一定的权重。
现在，让我们讨论套索回归的情况，也称为L1回归，因为它使用L1范数进行正则化。在套索回归中，我们尝试解决以下最小化问题：
L1最小化
为简单起见，令p = 1且βi =β。现在，
L1
由于项λ|β| 很明显，函数L 1是不连续的，因此在不连续点是不可微的。因此，在脊回归的情况下我们采用的演算方法无法在此处找到最小值。但是在不连续函数的情况下，优化理论指出，最优发生在不连续点。不连续性可能发生在β= 0处，如果发生这种情况会导致稀疏性。为了更好地理解这一点，让我们将上述功能可视化。
套索回归
从上面的图中可以看出，当我们将正则化参数λ的值从0.5增加到5时，函数变得不那么平滑，不连续点在β= 0处，这是最小值。这是仅具有单个特征的最简单的回归案例，而套索回归使该单个特征稀疏。因此，很明显，对于一个特征，在套索回归中，其相应的权重β可能为零。
对于岭回归，分析是使用微积分本身完成的，我们可以证明不可能使任何权重变为零。当我们尝试可视化函数L 2时，这变得更加清晰。该功能是平滑的，没有任何间断，因此在整体上是可区分的。从图中可以看出，最小值出现在接近零的位置，但从不为零。随着我们将λ的值从0.5不断增加到5，最小值变得更接近于零，尽管它从未变为零！
例
假设我们正在构建出两个特征的线性模型，我们将有两个系数（β 1和β 2）。对于岭回归，在这种情况下，惩罚项为-
大号2P =β 1 2 +β 2 2。
线性回归模型实际上想要最大化的β值1和β 2，但也希望尽量减少损失。最好的方式以最小化罚减小最大的β的大小1或β 2，如罚函数是二次的。因此，两个系数中较大的一个将受到收缩。
为了更好地理解令β 1  = 10，  β 2  = 1000，转正会收缩 β 2越来越β 1几乎将保持不变，因为β 2已经被做出接近于零。进一步萎缩 β 1也不会对整体功能很多效果。比方说，β 1 缩小到8和 β 2为100。这将缩小整个罚函数从1000100到10064，这是一个显著的变化。     
但是，如果考虑套索回归，则L1惩罚看起来像
大号1P = |β 1 | + |β 2 |
收缩β 1至8和 β 2至100将最小化来自1010的惩罚108，该装置在此情况下的变化仅通过收缩较大的量不是那么显著。因此，在L 1罚金的情况下，两个系数都必须缩小到极小的值，以实现正则化。在整个过程中，某些系数可能会缩小为零。
终点
在这里，我只是尝试使用基本演算和一些可视化方法来解释套索和岭回归中的稀疏性展示。仅通过单个功能的简单案例对此进行了分析，以了解其功能。当我们具有“ p”功能时，可以进行相同类型的分析。想象一下在p + 1维空间中函数的可视化！在3个维度（p = 2）中，套索回归函数看起来像菱形，而脊回归函数看起来像球形。现在，尝试可视化p + 1维，然后您将获得套索和岭回归中稀疏性问题的答案。
题库