初学者：逻辑回归与线性回归之间的关系
线性回归是一种常用的监督式机器学习算法，可预测连续值。线性回归假设因变量和自变量之间存在线性关系。简而言之，它找到描述两个或多个变量的最佳拟合线/平面。
另一方面，逻辑回归是另一种受监督的机器学习算法，可以从根本上帮助二进制分类（分离离散值）。
尽管线性回归和逻辑回归算法的用法完全不同，但在数学上我们可以观察到，只要执行附加步骤，就可以将线性回归转换为逻辑回归。
我将在下面详细讨论该主题。
线性回归的步骤
顾名思义，执行线性回归的思想是，我们应该提出一个线性方程来描述因变量和自变量之间的关系。
步骤1
假设我们有一个数据集，其中x是自变量，Y是x的函数（Y = f（x））。因此，通过使用线性回归，我们可以形成以下方程式（最佳拟合线的方程式）：
Y = mx + c
这是一条直线方程，其中m是直线的斜率，c是截距。
第2步
现在，为了得出最合适的线，首先，我们给m和c分配随机值，并为给定x计算对应的Y值。该Y值是输出值。
第三步
由于Logistic回归是一种受监督的机器学习算法，因此我们已经知道实际Y（因变量）的值。现在，由于我们具有计算出的输出值（将其表示为，），因此可以验证我们的预测是否准确。
在线性回归的情况下，我们使用MSE方法（均方误差）来计算此误差（残差），并将其命名为损失函数：
损失函数可以写成：
L = 1 / n ∑（（y –?）2）
其中n是观察数。
第四步
为了获得最佳拟合线，我们必须最小化损失函数的值。
为了使损失函数最小化，我们使用了一种称为梯度下降的技术。
让我们讨论梯度下降的工作原理（尽管我不会深入研究，因为这不是本文的重点）。
梯度下降
如果我们看一下损失函数的公式，则是“均方误差”，表示该误差以二阶术语表示。
如果我们绘制权重的损失函数（在我们的方程中权重为m和c），它将是一条抛物线。现在，由于要使损失函数最小化，我们必须达到曲线的底部。
线性Logistic回归-梯度下降
图1：梯度下降
为此，我们应该对权重（m和c）采用损失函数的一阶导数。然后，我们将从初始权重乘以学习率（α）减去导数的结果。我们将继续重复此步骤，直到达到最小值（我们称其为全局最小值）。我们将一个极小的阈值（例如0.0001）固定为全局最小值。如果我们不设置阈值，那么可能要花很长时间才能达到精确的零值。
第5步
一旦损失函数最小化，我们就得到了最拟合线的最终方程，并且可以预测任何给定X的Y值。
这是线性回归的终点，距离实现逻辑回归仅一步之遥。
逻辑回归
就像我之前说的，从根本上说，逻辑回归用于通过计算集合中每个元素的概率将集合中的元素分为两组（二进制分类）。
Logistic回归步骤
在逻辑回归中，我们确定概率阈值。如果特定元素的概率高于概率阈值，则我们将该元素归为一组，反之亦然。
步骤1
为了计算二元分离，首先，我们通过遵循线性回归步骤确定最适合的线。
第2步
我们从线性回归得到的回归线很容易受到异常值的影响。因此，在对两个类别进行分类方面将做得不好。
因此，通过将预测值提供给S型函数，可以将预测值转换为概率。
乙状结肠方程：
线性逻辑回归-Sigmoid函数
如图3所示，我们可以向Sigmoid函数输入任何实数，并且它将返回0到1之间的值。
乙状结肠功能
图2：S形曲线（图片来自维基百科）
因此，如果我们将输出?值输入到S型函数中，它将在0到1之间重新调整概率值。
第三步
最后，根据阈值将S型函数的输出值转换为0或1（离散值）。我们通常将阈值设置为0.5。这样，我们得到了二进制分类。
现在，我们有了线性回归和逻辑回归之间的关系的基本思想，让我们以一个例子来回顾一下这个过程。
例
让我们考虑一个问题，给我们一个包含一组人的身高和体重的数据集。我们的任务是预测“高度”列中新条目的权重。
因此，我们可以发现这是一个回归问题，我们将建立线性回归模型。我们将使用提供的身高和体重值训练模型。训练模型后，我们可以预测给定未知高度值的重量。
线性回归
图3：线性回归
现在假设我们还有一个肥胖领域，我们必须根据其提供的身高和体重对一个人是否肥胖进行分类。显然，这是一个分类问题，我们必须将数据集分为两类（肥胖和非肥胖）。
因此，对于新问题，我们可以再次遵循线性回归步骤并建立回归线。这次，这条线将基于两个参数Height和Weight，而回归线将位于两组离散值之间。由于此回归线极易受到离群值的影响，因此在对两个类别进行分类时效果不佳。
为了获得更好的分类，我们将从回归线的输出值输入到S型函数。S形函数从回归线返回每个输出值的概率。现在，基于预定义的阈值，我们可以轻松地将输出分为肥胖或非肥胖两类。
线性回归与逻辑回归
图4：线性回归与逻辑回归
最后，我们可以总结这两个模型之间的异同。
线性回归和逻辑回归之间的相似性
线性回归和逻辑回归都是受监督的机器学习算法。
线性回归和逻辑回归，两个模型都是参数回归，即两个模型都使用线性方程进行预测
这就是我们两个模型之间的所有相似之处。
但是，就功能而言，这两者是完全不同的。以下是区别。
线性回归和逻辑回归之间的差异
线性回归用于处理回归问题，而逻辑回归用于处理分类问题。
线性回归提供连续输出，而逻辑回归提供离散输出。
线性回归的目的是在Logistic回归领先一步的同时找到最拟合的线，并将线值拟合到S型曲线上。
线性回归中计算损失函数的方法是均方误差，而逻辑回归则是最大似然估计。
题库