全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
10835 7
2018-11-28
各位坛友们:
      你们好!
      最近遇到一个问题,想跟大家一起讨论一下:
在建立预测模型时,需要对模型进行模型评估,比如拟合优度,MSE、RMSE等等指标;目前我建立了一个预测模型,模型建立后,在测试集进行验证的过程中,我计算了测试集中模型的拟合优度以及RMSE等值,在进行预测时,当使用拟合优度高的模型时,预测效果没有使用RMSE小的模型的预测效果好,似乎通过我的这个例子表明,在进行模型选择时,RMSE选择的模型比拟合优度选择的模型更优秀,RMSE的结果更优秀。那各位同仁,关于这些模型评价指标之间的比较,如何通过多个指标进行选择,哪些模型评价的指标选择的模型更可信?谢谢各位!
      欢迎各位同仁一起讨论!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2018-11-29 13:40:53
RMSE 是个绝对指标, R 平方是 相对指标。
数据的特点会影响R 平方。  所以 R 平方不好的时候,我们有时候要考虑,是不是变量x 选择的不好。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-11-30 19:58:49
不能使用ROC曲线吗
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-12-3 14:14:53
使用ROC会多点
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-12-3 15:53:20

引用Leo Breiman(1984) Classification_and_Regression_Trees 中数学论证:

  Suppose a learning sample consisting of N cases (x 1 , y 1 ), ..., (x N , y N ) was used to construct a
predictor d(x)

  Define the mean squared error R*(d) of the predictor d as
     R*(d)  = E(Y - d(X) )2 .

PROPOSITION8.2 . The predictor dB which minimizes R*(d) is
    dB(x) = E(Y|X = x).

LEMMA 8.4. The constant a which minimizes
                   E(Y - a)2   
                  is E(Y)

##  由上可知,回归,让MSE (或者平方根RMSE)最小,就可得最佳回归模型。。。
## 拟合优度   好象未见这样的最优数学基础。。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-12-3 16:47:02
啊啊啊啊啊吖 发表于 2018-12-3 14:14
使用ROC会多点
ROC评价模型优劣,ROC曲线我不太了解,就我所查找的资料,一般是用在分类模型吧?我在这里主要讨论回归预测模型。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群