普通最小二乘(OLS),带权重的最小二乘(WLS)和广义最小二乘(GLS),都是同一个东西
简单地说,用回归变量X来拟合响应变量Y,其中Y中的每个变量,存在内部方差(var)和外部协方差(cov),一起构成协方差阵(vcv)
因为X一般当做固定的,所以Y的协方差阵其实也就是误差项的协方差阵
1.如果存在外部协方差,即协方差阵不是对角阵,就是广义最小二乘
2.如果协方差阵是对角阵,且对角线各不相等,就是权重最小二乘
3.如果协方差阵是对角阵,且对角线相同,就是普通最小二乘
公式都是一样的 min RSS=误差项T * vcv-1 * 误差项
(T是转置, -1是逆矩阵)