回复tbntblqx:
主成分分析法降维对于自变量个数远大于观察次数的时候好像不行吧！

回复 soccy:
Bayesian models with informative priors.
不是很明白？是基于先验知识的贝叶斯模型？可以吗？

You may take a look of a shrinkage estimation class. Shrinkage can be thought of as “constrained” minimization or penalized regression. The idea is to trade of bias and variance.

Here is a little bit more about it.

http://www.pinggu.org/bbs/viewthread.php?tid=681147&page=1#pid4570814

[/quote]

You may take a look of a shrinkage estimation class. Shrinkage can be thought of as “constrained” minimization or penalized regression. The idea is to trade of bias and variance.

Here is a little bit more about it.

[url=http://www.pinggu.org/bbs/viewthread.php?tid=681147&page=1#pid4570814]http://www.pinggu.org/bbs/viewthread.php?tid=681147&page=1#pid4570814[/url] [/quote]


lasso的结果筛选的变量还是不是很好，要获得较高精度的模型，变量就会选比较多（存在共线性），选少了，模型精度不够；另外LASSO有些问题请教，LASSO筛选变量如何去除变量共线性，而我的结果说明如果基于AIC BIC准则，选出的变量共线性仍然存在，怎么理解？

另外LASSO筛选变量准则是否能按实际情况定。

太高深了
各位大侠讲的什么都看不懂哦

考虑是不是存在非线性，试下PLS非线性算法

对于多重共线性  你可以采用逐步回归啊  剔除不必要的变量 上面说的主成分也行 先提取  或者采用岭回归也行啊

处理共线性和高维数据（微阵列基因数据）的方法很多，有监督的主成分（先筛选变量再提取主成分），lasso（L1惩罚）、岭回归（L2惩罚，好像只能消除共线性，不能筛选变量）

12# liqin.zhang
非线性的PLS怎么样？不是很理解具体怎么做的，是不是把数据通过映射关系非线性的变为线性的，之后再PLS；
神经网络、SVR也能解决非线性问题，但是对于输入数据有严重共线性的情况是否可以？

14# baoaibaobao
谢谢，有监督主成份第一次听说，查了一下就是在pca前加个相关分析，呵呵

岭回归我在书上看到是可以进行变量选择的，不过好像不是很定量，根据岭迹图之类的，具体不是很明白，有知道的高手请指教，谢谢！