关于R语言中随机森林是否会出现过拟合现象问题

13559

收藏 2015-04-14

我首先做的是特征选择，在30~50db混合噪声环境下从25个特征中选择出4个特征，然后用这4个特征进行随机森林建模和训练，因为类别数（6类）、特征数（4个）和数据集（3000组）都比较小，所以选择树的个数为50，训练完后用该模型对50db噪声环境下的600组数据（每类100组）进行分类，结果全都正确。接着将树的个数增加到100，再对50db噪声环境下同样数据进行分类时，第四类完全分类错误，如果再增加数的个数，第一类有时都会出现分类出错，请问这是什么原因？是产生了过拟合吗？此外，set.seed函数设置不同的数值会对分类结果产生影响吗？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

harpbreeze

2015-4-14 12:47:31

楼主方便的话，还是把你的数据集好代码都贴上来，让大家跑跑看。

另外，set.seed是为了方便实验结果重现，对结果并没有什么决定性的影响。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-14 14:36:45

harpbreeze 发表于 2015-4-14 12:47
楼主方便的话，还是把你的数据集好代码都贴上来，让大家跑跑看。

另外，set.seed是为了方便实验结果重现 ...

train5161819.txt
大小:(226.13 KB)

马上下载

test50.txt
大小:(263.13 KB)

马上下载

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-14 14:38:26

harpbreeze 发表于 2015-4-14 12:47
楼主方便的话，还是把你的数据集好代码都贴上来，让大家跑跑看。

另外，set.seed是为了方便实验结果重现 ...

而且我试过修改set.seed函数值，结果有点不一样

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

harpbreeze

2015-4-14 17:09:10

楼主，test50.txt 有25列，不知道是什么情况呢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

harpbreeze

2015-4-14 17:12:11

楼主，test50里面有25列呢，而且好像没有class标签呀？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

何以爱情丶

2015-4-14 17:27:10

harpbreeze 发表于 2015-4-14 17:12
楼主，test50里面有25列呢，而且好像没有class标签呀？

对，因为我先做的是特征选择，从25个特征中选出最优的4个，所以train里面只有4个特征加一个标签，训练完之后做测试，来的数据是不知道类别的，所以test50含有最原始的25个特征，并且没有class标签，你在跑程序的时候需要加一句：names(test50)=c("f1","f2","f3","f4","f5","f6","f7","f8","f9","f10","f11","f12","f13","f14","f15","f16","f17","f18","f19","f20","f21","f22","f23","f24","f25")。但是test50里面每100行是一类，从类1到类6共6类.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

七彩空气

2015-4-14 17:58:30

因为随机森林会有两次随机取样随机种子每次不同随机出来的样本和特征就不一样了导致每次结果不一致但是不会有太大影响最好每次设定固定的随机种子保证结果可重现 Breiman说RF不会出现过拟合的

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-14 19:20:09

七彩空气发表于 2015-4-14 17:58
因为随机森林会有两次随机取样随机种子每次不同随机出来的样本和特征就不一样了导致每次结果不一致 ...

没有任何的learning algorithm可以彻底避免overfitting的。这是由机器学习的本质决定的，不是在技术层面可以修复的。机器学习的核心在于generalization，但是数据又不可避免的包含noise，所以generalization走到最后就会开始考虑是不是要把noise也generalize一下。对于一个算法，它是没有办法区分noise和‘good’ data的。因为这些通常是人也无法知道的，我们说一个toy dataset中某些data是noise，这是我们的prior，机器是没有办法知道的。
random forest 虽然我没有在实际中运用过，并且Breiman确实说过它不会overfitting，但是他的意思是随着tree数目的增多，testing error不会急剧的增大，会稳定在一个数值。但是我们通常讨论的overfitting是说testing error比training error大很多，这个Random forest显然是无法避免的，尽管RF会限制error的limit。
简单说random forest会随着tree的增多而减少variance，但是它不会去修改bias啊。

上面是我今天查资料看到的一段话，RF应该还是有可能会过拟合的

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

harpbreeze

2015-4-14 20:41:28

我按照楼主说得，选择ntree=50，但是第四类依旧都分错了。

复制代码

结果是：

pred 1 2 3 4 5 6
1 0 0 0 60 0 0
2 0 100 0 40 0 0
3 100 0 100 0 0 0
4 0 0 0 0 0 0
5 0 0 0 0 100 0
6 0 0 0 0 0 100

50棵树的时候，并没有出现楼主说的都分正确的情况呀，第一类和第四类都分错误了。

set.seed用的是楼主的参数 111

您试试增加predictor可行么？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

harpbreeze

2015-4-14 20:53:43

何以爱情丶发表于 2015-4-14 19:20
没有任何的learning algorithm可以彻底避免overfitting的。这是由机器学习的本质决定的，不是在技术层面可 ...

所谓过拟合不就是模型的variance急剧增大造成的么，这都说了variance能控制在一定的水平。
bias大是欠拟合了吧？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-14 21:20:02

harpbreeze 发表于 2015-4-14 20:53
所谓过拟合不就是模型的variance急剧增大造成的么，这都说了variance能控制在一定的水平。
bias大是欠拟 ...

我也没看懂，因为刚入手，我只想知道RF到底会不会出现过拟合问题？我的数据集也比较小，训练集才3000组，有人说数据集小了也会引起RF树的量多时过拟合

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-14 21:24:32

harpbreeze 发表于 2015-4-14 20:41
我按照楼主说得，选择ntree=50，但是第四类依旧都分错了。
结果是：

我这全部分类正确啊。你是不是给test50加了标签？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

harpbreeze

2015-4-14 21:30:36

何以爱情丶发表于 2015-4-14 21:24
我这全部分类正确啊。你是不是给test50加了标签？

直接打印，出来的应该是用训练集的数据直接跑模型，再和训练集的class比较，势必准确率会高。

你试试ntree=50时候，计算下用test50测试集去跑跑，得到的应该是和我一样的。

所以这个可能不是过拟合的问题，你试试增加变量吧。

我也新手，大家一起学习

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-15 08:27:15

harpbreeze 发表于 2015-4-14 21:30
直接打印，出来的应该是用训练集的数据直接跑模型，再和训练集的class比较，势必准确率会高。

你试试n ...

训练集是3000组数据，而测试集是600组数据，print显示的是3000组数据的训练精度，predict结果是600组数据的预测结果，是不是这么一回事？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

harpbreeze

2015-4-15 11:18:17

奥。。。我懂你意思了。。。

不过我还是不能重现你的结果...

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-15 20:58:46

harpbreeze 发表于 2015-4-15 11:18
奥。。。我懂你意思了。。。

不过我还是不能重现你的结果...

你用的testset是怎么修改的

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

harpbreeze

2015-4-16 11:12:54

> testset <-read.table("D:\\test50.txt")
> names(testset)=c("f1","f2","f3","f4","f5","f6","f7","f8","f9","f10","f11","f12","f13","f14","f15","f16","f17","f18","f19","f20","f21","f22","f23","f24","f25")
>

没有改，直接导进去的呢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-16 14:02:01

harpbreeze 发表于 2015-4-16 11:12
> testset names(testset)=c("f1","f2","f3","f4","f5","f6","f7","f8","f9","f10","f11","f12","f13","f1 ...

这么神奇？我后来给test50加了标签，形成test50n，再跑程序

。
在ntree=50的情况下，50,40,30dB噪声环境下都分类正确，只有20dB分类有错，set.seed设置111

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-4-16 14:05:14

harpbreeze 发表于 2015-4-16 11:12
> testset names(testset)=c("f1","f2","f3","f4","f5","f6","f7","f8","f9","f10","f11","f12","f13","f1 ...

加QQ交流吧？方便点，806990279

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

唐伯小猫

2015-5-1 05:48:51

我怎么记得以前学的时候，说随机森林最大的好处就是不会出现“过度拟合”这种情况呢？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

Mr钟

2015-5-1 13:37:48

随机森林有过拟合吗？随机森林的一个优点不就是可以规避过拟合？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-5-3 09:53:27

唐伯小猫发表于 2015-5-1 05:48
我怎么记得以前学的时候，说随机森林最大的好处就是不会出现“过度拟合”这种情况呢？

那我的实验结果该怎么解释呢？求指教

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何以爱情丶

2015-5-3 09:54:02

Mr钟发表于 2015-5-1 13:37
随机森林有过拟合吗？随机森林的一个优点不就是可以规避过拟合？

那我的实验结果是什么原因导致的呢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

lynntsen88

2016-7-5 15:07:32

问下大家随机森林的时候样本严重不平衡，会进行分层抽样处理后再建模吗

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

felixzhao123

2016-7-9 16:08:01

我初步看了一下楼主的数据，感觉是一个比较有意思的数据集，不知道是否可以将完整的训练和测试集数据(都包含24个特征的原始数据)发给我一下，共同学习一下。
如果可以，请发送至我的邮箱felixzhao123@outlook.com
谢谢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群