求指点基于主成分的逻辑回归分析步骤

11577

收藏 2015-08-11

如题，通过线性回归功能确定了变量之间存在较为明显的共线问题（vif》10），于是打算在spss中先进行主成分分析后再来建立多项逻辑回归模型。本人在参考多个文献资料和他人经验后，初步确定了以下几个分析步骤，望高人帮忙指点一下，看看是否存在不妥？

1. 先用spss中的“分析/降维/因子分析”功能，对各个自变量进行主成分转换分析，然后选取累积说明达到85%以上的几个主体元件作为主体变量。（85%的标准是不是能满足大部分的研究需求，如果选取累积100%的元件会不会在分析精度方面比85%要高很多呢？）
（如果按照特征根》1来选取主体元件，它们的累积概率只有70%多，不符合85%的标准，该如何取舍呢？）

2. 根据主体元件矩阵来确定各个主体变量在原始自变量中的表达计算公式（计算公式中各自变量的系数等于矩阵系数除以该变量特征值的开方？）——自问自答：貌似spss分析结果中的矩阵是因子荷载矩阵，并不是真正的特征向量矩阵（即主成分系数矩阵），所以必须除以特征值的开方（即标准差）来得到最终的计算公式系数。

3.将分析得到的主体变量带入“分析/回归/多项logistic”功能中进行计算，按显著性》0.05的标准筛选，得到以主体变量为基础的逻辑回归计算公式

4.将逻辑回归模型中的主体变量用第2步中的原始自变量表达公式进行替换，最终转换得到以原始自变量为基础的逻辑回归公式

额外问题：貌似主成分分析功能会自动对自变量进行标准化处理，那是不是必须使用原始数据，不能使用自己标准化处理的数据？如果要使用标准化后的数据，就只能在选项中使用协方差矩阵，而不是相关性矩阵了，对吗？————自问自答：经过对比数据标准化处理前后的主成分分析结果（相关性分析矩阵），可以确定是否标准化对主成分分析结果毫无影响～～

整个程序大概分为以上四个步骤，还请大家能够多给予批评和指教～～谢谢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

xddlovejiao1314

2015-8-20 13:46:48

前几天出差了，估计都不会有坛友来回答你这个问题。现在回来了，给你系统解答一下。
方差贡献率85%是大家比较公认的标准，高些（如100%）自然更好，但一般选取特征值大于1的公因子即可。然而在有的学科，你做因子分析提取的公因子，其可能以特征值为1去卡公因子，方差贡献率可能只有70%-80%，但这在很多社会科学中是可以接受的。其实，归根结底，你做因子分析的目的是消除自变量间的多重共线性，实现降维，所以先对自变量进行共线性诊断，然后使用因子分析只对存在多重共线性的变量进行降维即可，其它不存在多重共线性的自变量做因子分析就不起作用了（不存在多重共线性还用啥因子分析呢）。做了因子分析消除多重共线性后，直接和其余自变量纳入模型，构建logistic回归模型即可。祝好运。