你可以用一些常用的准则来比较，我觉得比较好的是5-fold crossvalidation or 10-fold crossvalidation.但这统计量计算要忙烦一些。但性能很好。也可以用generalized crossvalidation, BIC.
对小样本的话也可以用AIC.
（仅供参考）

模拟方法也可考虑

首先，一切都要从业务出发或者理论出发！！！
数据分析本身并没有发现一切规律的能力。数据分析最好的用途就是对已有的理论或者你熟悉的业务逻辑进行实证的，数据支持的分析。所以在选模型的时候，一定要充分了解你要研究的问题。
在那个基础上，对模型的判别有很多判断准则比如AIC，BIC等等，但是一定要记住那些都不能作为你模型判断的绝对标准。你的模型必须符合逻辑和常识。

不过残差或者误差确实能帮我们提供很多信息。如果残差是整体分布，那么首先考虑线性回归。如果是泊松分布，首先考虑对数回归模型。如果是二分类问题，首先考虑逻辑回归。
如果你要研究的问题确实没有太多理论支撑以及你的数据量够的话，并且你只在乎用模型来进行预测，那么你可以用一些现代的方法如随机森林，神经网络等等。现代的方法的选择一般通过CV交叉验证的方法来选取。