在简单的线性回归模型或一般线性模型 Y=Xb+e 中,回归系数或参数 b 的最小二乘估计线性估计,就是指回归系数或参数 b 是观测数据Y(或其分量 Yi 的线性组合(线性函数)。
线性估计的优点是使用方便(计算估计值比其他非线性函数简单,计算估计量的均值和方差时也比其他形式的估计简单)。从统计性质看,“线性"并不与无偏和其他渐近优良性质有直接的联系。
我想讨论线性模型及其估计时通常有两个深度不同的假定: (1) 观测误差 e 的分量 ei 是互不相关的零均值同方差随机变量,一般讨论线性模型就是在这一假定下进行的,讨论线性模型的LS估计问题可以在这一假定下进行。 (2) 更进一步附加 e 是正态的。满足假定(2)的又称为正态线性模型,讨论线性模型 LS 估计量的分布和检验问题通常都在这一假定下进行。
另外需要说明的是关于"线性": 一是模型的线性的, 通常是指关于参数 b 是线性的。另一是估计量的线性的,这是指估计量是Y(的分量) 的线性函数。
所以提到线性模型 LS 估计的性质时可以区别在上述两种不同深度的假定下各有什么性质。