共线性的处理——岭回归问题汇总

胖胖小龟宝

61384

194

收藏 2014-08-13

在处理数据做回归分析的时候，往往会遇到变量共线性的问题。一般处理它可以使用逐步回归，主成分分析等方法，还有一种叫做岭回归的不知大家听说过么？本期主打问题汇总贴：岭回归——

Q1：岭回归的基本思想是什么？（原帖：https://bbs.pinggu.org/thread-159448-1-1.html）
【heroyuan2】：岭回归分析实际上是一种改良的最小二乘法，是一种专门用于共线性数据分析的有偏估计回归方法。岭回归分析的基本思想是当自变量间存在共线性时，解释变量的相关矩阵行列式近似为零，X'X是奇异的，也就是说它的行列式的值也接近于零，此时OLS估计将失效。此时可采用岭回归估计。岭回归就是用X'X+KI代替正规方程中的X'X，人为地把最小特征根由minli提高到min（li+k），希望这样有助于降低均方误差。

度娘说：岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价，获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。（根据高斯马尔科夫定理，多重相关性并不影响最小二乘法估计量的无偏性和最小方差性，但是，虽然最小二乘估计量在所有线性估计量中是方差最小的，但是这个方差都不一定小，而实际上可以找到一个有偏估计量，这个估计量虽然有较小的偏差，但它的精度却能够大大高于无偏的估计量。岭回归分析就是根据这个原理，通过在正规方程中引入有偏常熟二求的回归估计量的。）

Q2：Eviews可以做岭回归么？
【*****xyz】：如果只是想做岭回归，那么EViews不是一个很好的选择。有许多其他软件可以做得又快又好。如果非得要在EViews里做，也可以。就是比较繁琐。另外，EViews 7.1还有一个岭回归的插件（可见：https://bbs.pinggu.org/thread-1411111-1-1.html）。

Q3：具体操作步骤是什么呢？
如果要用文字描述，比较累赘。在搜索论坛帖子时发现有个帖子上传的附件有案例操作，如果需要的话大家可以下载参考一下。附件不贵，也就一论坛币，还有po主做的笔记，扔个链接上来：https://bbs.pinggu.org/thread-895215-1-1.html。这贴的楼主回复了很多关于岭回归的问题，大家也能咨询一下哦~~【*****xyz】（此附件楼主已经下载过，可打开，如果缺少论坛币的也可以和楼主联系~~或回复楼主的帖子来赚取……）

Q4：做完岭回归后，如何进行异方差与自相关检验？（原帖：https://bbs.pinggu.org/thread-3023278-1-1.html）
【hesanwei】：若假定回归方程的形式如下：
Y = b0 + b1X1 + b2X2 + … + bjXj + … +bJXJ (Y是估计值)
其中，回归参数b0,b1,…,bJ通过最小二乘法求得。
则标准化回归系数 bj' = bj*(Xj的标准差/Y的标准差)
这样放过来已知bj'，求非标准化系数bj，应该不是难事了

那接下来怎样求这个方程的dw值和t值？怎样做自相关与异方差检验呢？
【hesanwei】：首先，岭回归只是用来从众多变量中筛选有用变量，去除变量的多重共线性。其次，你说的DW和T值，岭回归在SPSS，MATLAB中实现时，是不是会得到这两个值啊，这个我没做过。最后那个自相关和异方差，如果你不是面板数据，只是时间序列的，这个很多软件都可以做啊，stata, Eviews. ……

那啥的，问题好像也差不多了，本期到此结束，大家散了哈~~~记得楼下有回复签到领赏哈！！！

帮助人大经济论坛推广，复制贴子内容（带人大经济论坛网址）并发到其他论坛和网站；或点击贴子标题后的“推广有奖”，把本贴推荐到QQ群或自己的微博（最好@人大经济论坛），然后跟贴贴出链接或截图，证明已作推广的，将获得如下论坛币的奖励！（大家一定要把群现有人数或微博粉丝人数截屏出来哦~不然只能奖励10个币哦）
活动奖励方式（同一个群或微博或网站分享多次算一次，所有截图均需显示分享人数，否则默认低档奖励）：
1.凡分享的QQ群，人数在100人以下的，视情况奖励10-20论坛币；100-500人的，奖励20-50论坛币（每群限奖励一次）；500人以上的奖励50-100论坛币。
2.凡分享到微博，您的粉丝在100人以下的，视情况奖励10-20论坛币；100-500人的，奖励20-50论坛币（每微博限奖励一次）；500人以上的奖励50-100论坛币。
3.凡分享到其他网站（包括校内网等），帖子保留一天以上的（24小时后截图），奖励50论坛币