最小二乘法简单求解（附matlab源代码和过程可视化，容易理解）

最小二乘法简单求解，最小二乘法是回归分析中的一种标准方法，通过最小化残差的平方和（残差是观察值和模型提供的拟合值）在每个单独方程的结果中得出。最重要的应用是数据拟合。当问题在自变量（x变量）中有很大的不确定性时，简单回归和最小二乘法就会出现问题；在这种情况下，可以考虑拟合变量误差模型所需的方法，而不是最小二乘法。最小二乘问题分为两类：线性或普通最小二乘和非线性最小二乘，这取决于残差在所有未知数中是否是线性的。线性最小二乘问题出现在统计回归分析中；它有一个封闭形式的解决方案。非线性问题通常通过迭代细化来解决；在每次迭代中，系统都近似为线性系统，因此两种情况下的核心计算都是相似的。多项式最小二乘法将因变量预测中的方差描述为自变量的函数以及与拟合曲线的偏差。当观测来自一个指数族，其自然充分统计量和温和条件得到满足（例如，对于正态分布、指数分布、泊松分布和二项分布），标准化最小二乘估计和最大似然估计是相同的。[1]最小二乘法也可以作为矩估计法推导出来。以下讨论主要是根据线性函数提出的，但最小二乘法的使用对于更一般的函数族是有效和实用的。此外，通过迭代地将局部二次近似应用