请问最小二乘法为什么要平方和？

2014-4-16 08:38:22

你应该跳出统计看最小二乘方法。哎，建议你系统的看书。本科一年级数学都应该解决的问问，将简单线性回归时也讲过这个问题。当然，这个可能不是你的问题。我们的老师只会叫我们如何做，不会告诉我们他的来龙去脉---从哪里来，到哪里去，如何去，能去吗？同济大学数学系编写的高等数学里有第九章第十节。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

lovezhuzhu

2014-4-16 08:38:42

如果正负抵消的话可以拟合出不止一条直线吧？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 08:45:49

lovezhuzhu 发表于 2014-4-16 08:38
如果正负抵消的话可以拟合出不止一条直线吧？

我想过这个问题，我个人觉得这个问题的看法是，如果不用平方，没有偏导没有求极值，二元一次方程通过简单的加减，是算不出来那条线的，所以就变成了很多条线。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 08:48:16

弱国你在读研究生，建议看看统计学的一章，风险(损失)理论（创始人---Wald）

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 08:48:41

liwenxue_137 发表于 2014-4-16 08:38
你应该跳出统计看最小二乘方法。哎，建议你系统的看书。本科一年级数学都应该解决的问问，将简单线性回 ...

可恨不在国内读书，但是大一在国内学的，以前大一学过高数，不过早还给老师了，我既不是学习统计，也不是学数学的。应该跟空间几乎有关系，平方一般都是向量求线的，但是我把那些东西都忘得差不多了。如果你愿意，可以讲解一下？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2014-4-16 08:50:32

liwenxue_137 发表于 2014-4-16 08:48
弱国你在读研究生，建议看看统计学的一章，风险(损失)理论（创始人---Wald）

就不能有人讲解一下吗，好多人都问过这个问题，就是没有看到好的解答啊。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

xuruilong100

2014-4-16 09:35:34

最小二乘的本质目标是“拟合”，拟合的本质是做到“尽可能接近”，要量化“接近程度”就要定义“距离”。
最小二乘中的平方本质上是一种常见的距离定义——欧氏距离。从人类的思维习惯上讲，最容易想到使用欧氏距离，因为最小二乘产生之前，欧式几何学对欧洲数学的影响根深蒂固，数学家观念中的距离默认就是指欧氏距离，而且这种定义方式和实际生活中的距离的感念是一致的。
如果扩展距离的定义，就可以得到其他的拟合方式。比如“稳健回归”中用绝对值定义距离。
记的要加学术点哦，亲

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 09:46:04

xuruilong100 发表于 2014-4-16 09:35
最小二乘的本质目标是“拟合”，拟合的本质是做到“尽可能接近”，要量化“接近程度”就要定义“距离”。
...

没懂你说的什么啊？还是不懂为什么要平方？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

xuruilong100

2014-4-16 09:57:33

mr.ghxy 发表于 2014-4-16 09:46
没懂你说的什么啊？还是不懂为什么要平方？

不知道更好，难得糊涂。年轻人要多想想泡马子和傍大款的事。东哥不是因为最小二乘认识的奶茶。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

胖胖小龟宝

2014-4-16 09:58:34

我觉得就是便于数学处理（积分求导）……

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 10:41:27

因为最小二乘要估计的是E(Y|X），conditional mean，而conditional mean 是最小化population mean squared error的，所以OLS应该最小化sample mean squared error，这样才能得到conditional mean的consistent estimator。中级计量没有涉及这些内容，所以很多人搞不太清楚，学过高级计量，知道OLS的本质以后，就明白了。
事实上，可以最小化残差的绝对值的和而不是平方和，也可以得到一个estimator，但这个estimator估计的就不是conditional mean了，而是conditional median，这就是最简单的quantile regression。中级计量没有哪本书讲这些方法的本质区别，因此造成很多误解。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 10:47:59

冬日的碧雪发表于 2014-4-16 10:41
因为最小二乘要估计的是E(Y|X），conditional mean，而conditional mean 是最小化population mean squared ...

我不是学计量的，就是想搞清楚一些问题，复习时候不至于磕磕碰碰的。但是请原谅我水平问题，我不懂你说的是什么，在我看来只是数学处理罢了，就是为了得到最小而平方，才有极值嘛，我理解不到计量的意义，但是看得到数学的想法。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 10:51:07

mr.ghxy 发表于 2014-4-16 10:47
我不是学计量的，就是想搞清楚一些问题，复习时候不至于磕磕碰碰的。但是请原谅我水平问题，我不懂你说的 ...

如果你是在复习中级计量的课程，恕我直言，你没有必要把这个问题搞得非常清楚，应该不会影响你学习后续的内容。但如果你是在复习高级计量，这个问题必须弄懂。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 10:52:19

mr.ghxy 发表于 2014-4-16 10:47
我不是学计量的，就是想搞清楚一些问题，复习时候不至于磕磕碰碰的。但是请原谅我水平问题，我不懂你说的 ...

如果你认为不是最小化残差平方和，那你认为应该最小化什么呢？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 11:04:38

冬日的碧雪发表于 2014-4-16 10:52
如果你认为不是最小化残差平方和，那你认为应该最小化什么呢？

在我读高中时候，我看到数学书上的回归模型的图像，那些实际点有的在回归方程的线上面有的在下面，那个时候我就想，这些距离有正有负，正负相加不就落在回归线上了，为什么你要把它们全部都平方呢。当时想的很简单，像个办法找出一条可以穿过最多点的线，或者众多点离x轴距离之和在除以二。现在想想，那些方法很不实用也很傻逼，如果不用最小二乘，根本难以简单找到那条线。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

zhoufan010

2014-4-16 11:18:21

最理想的肯定是绝对值之和最小，但平方和解析性强，所以退而求其次，采用平方和最小。
绝对值之和最小，无法解析，故不采纳。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 11:18:38

mr.ghxy 发表于 2014-4-16 11:04
在我读高中时候，我看到数学书上的回归模型的图像，那些实际点有的在回归方程的线上面有的在下面，那个时 ...

你的方法也是可以的，任何试图去找到这样一条线的想法都是一种估计，一种猜测，没有谁说这样猜可以，那样猜就不可以。但总有一种比较好的的猜测方法让它具有一些比较好的性质，你猜A，我猜B，结果我们都不准，实际可能是C。那到底哪个更准一点，总有办法衡量的。最小化残差平方和为什么比你那些方法更好不只在于它更便于计算这么简单，因为高级计量里面会证明，它是离实际最近的一种猜测，虽然它也不是百分百准确，但它在众多的猜测当中是最好的选择了，没有比它更好的了。至于什么叫好，为什么OLS最好，这些问题不学高级计量，是不会真正搞清楚的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

noartist1

2014-4-16 11:55:25

OLS只是一种算法。讨论OLS的最优性需要涉及到我们假定数据服从的概率模型。如果数据之间服从的是正态分布，可以证明OLS对应的是极大似然估计，是最优的。如果数据服从其他的概率模型，比如拉普拉斯分布什么的，OLS就不是最优的了。统计学当中不是有robust estimation吗，就是研究数据服从其他分布时的，如何设计最优估计器。当然即使在这样的情况下，比如在满足高斯马尔可夫定律的条件下，使用OLS仍然能得到实际中可以接受的估计值（线性最小方差估计）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

noonld

2014-4-16 17:22:04

回归就是要保持定义的距离最小而最小二乘的距离定义就是二次方当然你也可以是绝对值但是那样就不平滑了不能做微分什么的，而你所说的一次根本就不是距离！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

noonld

2014-4-16 17:24:50

noartist1 发表于 2014-4-16 11:55
OLS只是一种算法。讨论OLS的最优性需要涉及到我们假定数据服从的概率模型。如果数据之间服从的是正态分布， ...

你这种说法是不对的，只要定义的这种距离存在，就一定能找到OLS ，只是公式不一样了，与数据服从的概率模型无关。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 22:09:27

liwenxue_137 发表于 2014-4-16 08:48
弱国你在读研究生，建议看看统计学的一章，风险(损失)理论（创始人---Wald）

若最小化函数sum(y_i-x_i^T \beta)能行吗？他是没有最小值的（tends to \infty），你是求不不来估计值的。sum（abs (y_i-x_i^T \beta) )或者sum（abs (y_i-x_i^T \beta)…^2 )由于是凸函数，故能最小化。至于为什么要用这2个，没有为什么，你也用其他的非凹损失函数。sum（abs (y_i-x_i^T \beta)…^2 )用它的理由是当误差iid.~Normal distribution时，对数似然函数就是sum（abs (y_i-x_i^T \beta)…^2 ). sum（abs (y_i-x_i^T \beta) )------用它的理由是----误差是Laplace分布时----对数似然函数就是sum（abs (y_i-x_i^T \beta) )。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 22:13:35

使用任何非凹损失函数最小化都是可以的，唯一的目标就是估计值更接近真值参数\beta。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-16 22:21:08

使用最小二乘，相当于我们假设了高斯模型，当真正的假设与高斯条件相差不远时，我们也可以用最小二乘，只是估计值表现的没有高斯模型时好。当真正的假设与高斯条件相差及其大时，比如说不是高斯模型，而是误差为柯西分布，我们也用最小二乘的话，估计值就和真值查千万里了，已经面目全非了。数学经济学统计学都是一回事，在一系列假设下得到最优结论。当假设不成立时，我们也可以当作假设成立来用，我们得出的结论与实际结论的误差不会很大，只要实际情形与定理的假设条件相差不远。否则结论就完全错误的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

Bazzi

2014-4-17 04:54:59

最小二乘是要使残差最小，也就是样本点与拟合直线的距离最小，如果用点距直线铅直距离，会正负相抵消，因此用平方和来表示距离。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-4-17 07:53:36

冬日的碧雪发表于 2014-4-16 10:41
因为最小二乘要估计的是E(Y|X），conditional mean，而conditional mean 是最小化population mean squared ...

打扰一下，请问 P=β1+β2exp(Q)+e How would you estimate this non-linear relationship by OLS? 请问这个题目什么意思，是要我们做什么？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

Schwinnie

2014-4-17 11:16:30

最简单的一个例子，模型a有两个点，距离为正十和负十，模型b两个点，距离为一和负二

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝