如果说估计一个简单的线性模型

Y=B1+B2X+B3Z+e

自由度就是N-3, 因为不管检验还是估计都要

先估计B1,B2,B3三个系数.当我们估计他们的时候

我们用最小二乘法.用最小二乘法的时候

min(sum(e^2))=min sum{(y-B1-B2X-B3Z)^2}

first order condition:

sum{e^hat}=0,sum{e^hat*X}=0,sum{e^hat*z}=0

由这三个式子解出系数B1,B2 and B3的估计值

这三个式子叫做:normal equations,他们的用处

很多,很多时候大家都不去注意,其实我们很多结论

都用了这三个式子.比如证明SST=SSR+SSE

本来我们假设 error term ->e 是independent

如果我们有N个数据的话,那也就是说有N个independent 的e

但是e是观测不到的,所以很多计算就要用到e的估计值 e^hat

虽然e是independent的,但是它的估计值e^hat却不是independent的

因为他的计算是需要先估计B1, B2 和B3,换句话说,他们每个值不是随便取的

是要满足要求sum{e^hat}=0,sum{e^hat*X}=0,sum{e^hat*z}=0

这三个条件的,所以只有其中的N-3是independent的,

或者说只有是自由的.

自由度是N-3.

再举一个例子,比如过我让十个人,每人随便选一个

数.每个人的行为不受其他人的影响.那这是个数就是

independent的,自由度就是十.

现在我加一个条件,他们选的这十个数加起来必须得

等于零.

第一个人还可以随便选,第二个人也可以随便选,一直

到第九个人都可以随便选数字,第十个人就不可以随便

选数字,他选的数字必须要等于前九个人选的数字的和

的负值.这样一来这十个数字的和才能等于零.

当我们加了一个条件以后,这是个数字中这有九个数字是

"自由的",所以自由度是N-1

想我上面说的

"

虽然e是independent的,但是它的估计值e^hat却不是independent的

是要满足要求sum{e^hat}=0,sum{e^hat*X}=0,sum{e^hat*z}=0

这三个条件的,所以只有其中的N-3是independent的,"