比较模型评估技术，第3部分：回归模型
在本文中，我将介绍如何比较回归模型。比较回归模型也许是在“比较模型”领域要完成的最棘手的任务之一。其原因是，字面上有数十统计可以计算出比较回归模型，其中包括：
1. 在估计期（样本内测试）或验证期（样本外测试）中的错误度量：
平均绝对误差（MAE），
平均绝对百分比误差（MAPE），
平均误差
均方根误差（RMSE），
2.残差和拟合优度测试：
曲线：实际值与预测值；互相关 剩余 自相关 ; 残差与时间/预测值的关系，
变化的均值  或方差，
测试：正态分布的错误 ; 过度运行（例如正面或负面）；异常值 /极值/有影响的观察结果。
此列表并不详尽-您可以使用许多其他工具，测试和图解。我没有详细讨论统计信息，而是选择将本文章的重点放在  比较一些最流行的回归模型评估技术上，并讨论何时可能要使用它们（或何时不希望使用它们）。下面列出的技术通常处于“更易于使用和理解”的范围，因此，如果您不熟悉模型比较，那么它是一个不错的起点。
从哪儿开始
您应该问的第一个问题是：我如何知道我的数据？为了评估回归模型，您需要知道哪种结果对于您的特定情况是合理的。例如，如果您比较均值或方差的变化，则一个模型可能会给您带来不可能的结果，而另一种模型可能会使手头的任务过于复杂。理想的模型不仅是“正确的”模型，还需要相对简单和对决策过程有用-除非您非常了解数据，否则这种模型不会立即显现。
选择哪种技术在很大程度上取决于您手头的软件（即R，SPSS或Excel）。如果您使用的是Excel，请提一个建议：stop。它从未设计用于认真的统计工作，并且存在严重的统计问题。杜克大学的罗伯特·瑙（Robert Nau）说得最好：“ 这是一个玩具（当时很笨拙），而不是认真工作的工具。” 您正在测试的模型数量也会发挥作用。可以说，您使用的是哪个统计信息（r平方，p值等）都是个人喜好（尽管您使用的测试可能会迫使您做出选择）。每个统计信息都有其优点和缺点，优点和缺点。我不会通过统计数据之间的所有比较来夸大这篇文章，但是，如果您有兴趣，我会尽可能地链接到详细解释这些文章的文章。
嵌套模型
嵌套模型是彼此子集的模型。如果可以通过约束另一个模型的参数来获得一个模型，则该模型是嵌套的。嵌套模型需要使用不同的技术来评估模型，并且没有一种公认的方法可以测试“最佳”模型。
比较嵌套模型的最简单的方法（可以用于统计的最基本的理解）可能是简单地测量每个模型执行重新分类的性能。“更好”的模型将具有更高的正确重分类率。一卡方  分析可以使用，但如果你运行一个测试的球  ，你必须使用不同的卡方值。
如果您要比较嵌套模型（也许您想知道最简单的模型是否足够），则可以将它们与t统计量进行比较。您只能 针对单个额外系数进行显着性检验。换句话说，如果从一个模型到另一个模型有多个以上的系数，则无法运行它。本文在R中提供了说明，以及有关运行常规回归测试  或额外平方和测试的相当详细的概述  。  
根据内布拉斯加州林肯大学的Calvin Garbin所说，使用SPSS，您可以使用r平方以两种不同的方式比较嵌套模型：
获得每个模型的多元回归结果，然后使用FZT计算器的R2
更改F检验比较模型  。
在SPSS中从一种模型更改为另一种模型，计算出R2改变F检验。尽管方便，但这并不总是能够正确计算统计信息。
Gabin的文章提供了几个出色的示例，说明了如何执行上述任务以及SPSS过程，以使用相关性比较非嵌套模型。
一个ANOVA  F检验可以比较两个嵌套模型，其中一个是另一个的子集。它测试单个预测变量，但一次可用于测试多个预测变量。
可以使用正向选择，向后消除或逐步选择来比较多个模型。基本上，这些都是彼此的变体，并且涉及删除具有最小f值 / t值或最大关联p值的预测变量。这些技术只能在嵌套模型上使用，但是它们都可能会错过最佳模型，并且-如果您在同一模型上运行这三个模型-它们可能会彼此不一致。
非嵌套模型
非嵌套模型在模型之间进行比较的选项较少。由于模型不嵌套，因此您的结果也不会嵌套（例如，卡方统计量）。用外行的话来说，如果您的模型是嵌套的，那么您正在将苹果与苹果进行比较，这比将苹果与橙子进行比较要容易得多。
最简单的比较方法之一是贝叶斯信息准则。 尽管计算背后的数学运算令人生畏，但大多数统计软件仍会 为每种模型计算 BIC。 这使您可以简单地解释结果：BIC最低的模型被认为是最好的。它通常比其他贝叶斯方法（例如贝叶斯因子）更受青睐，因为BIC不需要您具有先验知识。  
Akaike的信息标准  与BIC相似，不同之处在于BIC倾向于使用参数较少的模型。AIC将每个模型从最佳到最差进行排名。一个主要的缺点是它没有关于质量的问题 ; 即使输入一系列质量较差的模型，它也会选择“最佳”。
Cox测试的好处 是（相对于BIC或AIC）了解测试在幕后所做的工作相对简单。假设您正在比较模型A和模型B。如果模型A包含正确的回归变量，则从模型B拟合到模型A的那些回归变量应产生零进一步的解释值。如果还有进一步的解释值，则模型1不包含正确的回归集。您运行了两次测试（第二次从B到A），然后比较您的发现。 请参阅：在R中执行Cox测试。

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！