6# 爱萌

对的，我没表达清楚，我就是指的是建立回归模型。

可是银行做CREDIT，做RISK的经常是几百上千的变量啊？

楼主大概需要换个工作了 :) 当然只看ADJ-R2。要不然我只需要增加足够的自变量（包括chicken shit。见下边的笑话），我的模型的R2就会接近于1。一般来讲，计量模型是由理论决定的，这包括用什么样的模型和用什么样的变量。比如你要研究什么决定一个人的收入水平，要从经济理论中寻找相关的变量，比如教育水平，肤色等，而不是想当然的找一些变量来凑数。如果理论建议的变量不显著，你要进一步寻找这个不显著是由什么造成的，找到一个合理的解释。其中一个原因是你找到的变量并不是理论上说建议的那个。

很多变量在回归分析都可能是统计显著的，但不代表他们之间有什么实际联系。讲一个听来的笑话。有人在某学术会议，讲一片文章，说某某变量显著什么的，所以这个变量很重要。下边有人问，你为什么不把chicken shit也放进去回归一下，也可能是显著的。这个笑话是说，计量模型是要由理论来指导的，而不是简单的陈述统计上的结果。

如果A和B是统计相关的话（highly correlated），加入B变量后，A会变得不显著是因为B的加入会导致A变量的sampling variance变大，从而统计不显著。计量上称为multicollinearity。

8# BraveMadMan 非常谢谢你的回答。

不过MODEL中，虽然R2是会随着变量的增多而增大，但是加入一个变量，就是要多花一定的成本吧。

另外，MULTICOLINEARITY我其实也有疑问。。。我有一个例子，确实变量间相关比较大，但是VIF值最大也就是在5左右。但是我还是先用PCA进行了分析，然后再用LOADING MATRIX进行回归。可惜试了几次，出来的MODEL，用做VALIDATION DATA SET中，出来的结果，还不如不用PCA，直接回归的好。请问，这种情况下，我们该怎么办呢？？RIDGE REGRESSION么？

建议你看下广义线性模型的书，里面说得很全面

我不知道是你自己想的，还是什么，我处理过银行数据，最多也就100多个变量，真正多的是它的样本

能不能按照贡献度排序。
或者按照某种方法分类，
然后再stepwise 回归

11# 爱萌

有没有上千，我不能肯定。但是4，500个变量的，在BOA,CHASE肯定有。我面试的时候就被问过。

但是就拿100多个变量来说，我们到底该如何解决这个问题呢？如何降维呢？

12# sailingyf

我先用了PCA,然后再STEPWISE,问题就是出来的结果，还不如直接STEPWISE的。。。

10# wyq1987

好吧，我去找找看，谢谢你。

其实感觉学到的理论，在用的时候，经常不是那么容易用起来。。。

10# wyq1987
利用贝叶斯的方法，贝叶斯压缩估计效果很好

16# yunqingwang

这个听起来对我还挺难的。。没接触过。。。。
不过我去GOOGLE，非常感谢。