使用残差平方和RSS可以测定回归模型的优劣,但是RSS在很大程度上取决于因变量度量单位的大小。
使用R^2可以比较好得解决这个问题。
R^2=ESS/TSS=(TSS-RSS)/TSS=1-RSS/TSS∈(0,1)
ESS称为解释平方和,标志着可以被模型解释的部分,而RSS为残差平方和,是模型不能解释的部分。所以,越大越好。这个值大,说明使用该模型中的解释变量对因变量的解释能力越强。
R^2也存在问题,因为随着解释变量增加,这个值有趋近于变大的趋势。这样我们无法知道加入一个新变量是否适当。
为了解决这个问题,引入了调整后的R^2。
如果这个值上升,则认为引入新的变量后模型的解释力增强了。所以当引入新的变量后,如果这个值上升,则说明引入这个因变量比较具有说服力。
这个变量的问题是,它是一个“软规则”,换句话说,它倾向于更大的模型。