R语言随机森林重要性指标的问题

66507

收藏 2014-06-11

用randomForest做重要性评价，得到这两个指标%IncMSE IncNodePurity，分别是什么含义啊，哪个大神能解答下吗？我看文献上，不应该是MeanDecreaseAccuracy MeanDecreaseGini这两个指标么？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

猴哥剃须刀

2014-6-11 17:12:24

   %IncMSE IncNodePurity
X1  13.7683812    527108.15
X19 11.8023912    340549.22
X7  11.1502938    225521.64
X20  8.0903795    139326.29
X21  7.4332708    99869.59就是这种
X23  6.5527387    115132.83
X5 6.3492693    135434.25
X15  6.1880054    110466.34

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

猴哥剃须刀

2014-6-11 20:33:33

没有人关注么，求解答啊

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

chen0hui

2014-10-15 15:44:17

相对重要性和节点纯度···

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

993481093

2014-12-15 19:31:00

最近也做到这个，同求高人讲解！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

datakungfu

2014-12-16 10:47:22

你说的是对的啊.

%IncMSE 是 increase in MSE, 就是对每一个变量比如 X1 随机赋值, 如果 X1重要的话, 预测的误差会增大,所以误差的增加就等同于准确性的减少,所以和 MeanDecreaseAccuracy 是一个概念的.

IncNodePurity 也是一样, 你这如果是回归的话, node purity 其实就是 RSS 的减少, node purity 增加就等同于 Gini 指数的减少,也就是节点里的数据或 class 都一样, 也就是 Mean Decrease Gini.

所以和你文献中的不冲突,另外一种表达方式而已.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

chen0hui

2015-3-26 17:18:07

datakungfu 发表于 2014-12-16 10:47
你说的是对的啊.

%IncMSE 是 increase in MSE, 就是对每一个变量比如 X1 随机赋值, 如果 X1重要的话, ...

那如果%IncMSE存在负数是什么意思呢？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

Mr.circle

2015-7-30 14:24:42

你好，我做分类问题，importance(rf)后得到MeanDecreaseAccuracy 和MeanDecreaseGini，根据这两个指标分别对特征排序，结果很不一样，这时候应该看哪个指标？注意我做的是分类问题

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

jgchen1966

2015-7-30 17:07:46

Mr.circle 发表于 2015-7-30 14:24
你好，我做分类问题，importance(rf)后得到MeanDecreaseAccuracy 和MeanDecreaseGini，根据这两个指标分别对 ...

从一次randomForest 运行得到这两变量重要指标，只能作为“定性”探索变量用，无法作为定量决策“变量取舍之用
R 中有大量以randomForest 为基础的变量取舍决策之用的package 如Boruta valSel 等！！
但是，不管何种变量取舍的程序，在变量间存在复杂相互关系或样本数不足时，它们都很不正确的！！！
专业知识须要介入了！！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

Mr.circle

2015-8-6 11:24:01

jgchen1966 发表于 2015-7-30 17:07
从一次randomForest 运行得到这两变量重要指标，只能作为“定性”探索变量用，无法作为定量决策“变量取舍 ...

谢谢，有空研究下你说的包valSel等

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

caisinong

2016-5-3 14:44:06

jgchen1966 发表于 2015-7-30 17:07
从一次randomForest 运行得到这两变量重要指标，只能作为“定性”探索变量用，无法作为定量决策“变量取舍 ...

请问一下，这里的定性探索是指这些importance能够给出一个参考性的建议，但是并不是对特征严格的排序，我理解得对吗？
试过Boruta，发现（应该是样本太少）结果非常不理想，几千个特征只留下十几个，完全没有办法继续做了。
最后发现，最成功的是直接根据词频人工选出一些特征来，但因为要做论文，感觉说人工筛选站不住脚……请问您有什么推荐的应该去了解的知识吗？找了好多，有点捉急。
谢谢！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

jgchen1966

2016-5-3 16:06:39

caisinong 发表于 2016-5-3 14:44
请问一下，这里的定性探索是指这些importance能够给出一个参考性的建议，但是并不是对特征严格的排序，我 ...

应很可惜的，randomForest的作者，Leo Breiman ，在randomForest 的概率与统计性质完全说明清楚前，去世了！！
虽研究不少，但至今没有一个满意的对randomForest 统计与概率的理论分析。。因此，其结果，只能被认作一个“数据探索”性质！！！若有志这方面研究，恐要从测度理论、概率理论等着手了！！！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

caisinong

2016-5-3 20:38:22

jgchen1966 发表于 2016-5-3 16:06
应很可惜的，randomForest的作者，Leo Breiman ，在randomForest 的概率与统计性质完全说明清楚前，去世了 ...

好吧……这可真是@_@
anyway谢谢您！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

13588163648

2017-10-24 13:47:25

Mr.circle 发表于 2015-8-6 11:24
谢谢，有空研究下你说的包valSel等

你好，你提到的varSel包可以介绍一下吗？在R中用install.package安装不了呢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

13588163648

2017-10-24 13:49:13

jgchen1966 发表于 2015-7-30 17:07
从一次randomForest 运行得到这两变量重要指标，只能作为“定性”探索变量用，无法作为定量决策“变量取舍 ...

你好，你提到的varSel包可以介绍一下吗？在R中用install.package安装不了呢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

fankaiqing

2022-3-16 12:30:58

datakungfu 发表于 2014-12-16 10:47
你说的是对的啊.

%IncMSE 是 increase in MSE, 就是对每一个变量比如 X1 随机赋值, 如果 X1重要的话, ...

如果 X1重要的话, 预测的误差会增大,所以误差的增加就等同于准确性的减少 ---- 如果某个X重要的话，把它加进模型，预测误差会增加？那么这个X还要了做啥？

是不是应该是如果把某个X放进模型，能使预测误差降低或者减小，才会被保留在模型中？

你的说法颠覆了我所学的常识耶

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

fankaiqing

2022-3-16 12:37:20

datakungfu 发表于 2014-12-16 10:47
你说的是对的啊.

%IncMSE 是 increase in MSE, 就是对每一个变量比如 X1 随机赋值, 如果 X1重要的话, ...

%IncMSE是MDA，mean decrese accuracy，代表随机打乱一个特征，模型的准确度下降的百分比，越高表明特征越重要。IncNodePurity是MDG，mean decrease gini，代表使用某一个特征进行分裂时，GINI系数下降的平均幅度，越高表明基于该特征的分裂质量越好。通常来说建议用MDA，因为MDG在特征类型不一致（有分类有连续），以及特征变化范围相差较大时，结果的bias更加显著。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

俺也一样.

2022-9-4 18:43:25

fankaiqing 发表于 2022-3-16 12:37
%IncMSE是MDA，mean decrese accuracy，代表随机打乱一个特征，模型的准确度下降的百分比，越高表明特征越 ...

您好，关于随机森林MDA，如果改变打乱一个特征的顺序后，模型的准确度反而升高了，那么这种情况是不是也应该表明这个特征比较重要，所以是不是应该用MDA的绝对值来评估这个特征的重要性呢？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nxfwh

2023-1-10 15:10:53

chen0hui 发表于 2015-3-26 17:18
那如果%IncMSE存在负数是什么意思呢？

您好，请问%IncMSE存在负值的问题您弄清楚了吗？是否可以指教

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群