逻辑回归相关性分析请教

2015-8-3 16:24:28

   额，还真是有缘，又是我来回答了。
   第一个问题，logistic回归模型由于因变量是类别变量，要经过线性变换后才能以常规的多元线性模型（OLS）去理解它。其实在我看来，如果在构建模型前，对数据做好了预处理（我在其它的帖子里有告诉过你怎么对数据进行一些预处理），对自变量进行了多重共线性诊断，就没必要一个个自变量分别去和因变量做回归，看系数大小和方向了。
   有了第一个问题的认识，第二个问题就没必要了。同时，你所谓的做线性回归或者双变量相关分析都是针对连续性自变量来做的。不能用于类别变量。
   第三个问题，连续性自变量间的相关系数可以用Pearson相关系数；类别变量分两种，一种是有序多分类变量的相关，一种是无序多分类变量的相关，有序的用Spearman，无序的貌似可以用你说的这个Kendall秩相关。有一点可以明确的是，不管是何种类型的变量，都可以做相关分析的。只是方法不一样而已。
   最后一个问题，多重共线性的检验不用结合因变量，是检验自变量，尤其是连续性自变量间是否存在多重共线性，SPSS软件你要在线性回归里面去勾选多重共线性诊断窗口。若存在多重共线性，可以先用主成分分析将存在多重共线性的自变量合并为新的变量，然后再和其它变量一起去构建模型。若不存在多重共线性，直接构建模型即可。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-8-4 00:41:41

xddlovejiao1314 发表于 2015-8-3 16:24
额，还真是有缘，又是我来回答了。
第一个问题，logistic回归模型由于因变量是类别变量，要经 ...

你太热心了～～～真的无以为报你对我的帮助啊～～

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-8-4 01:21:11

xddlovejiao1314 发表于 2015-8-3 16:24
额，还真是有缘，又是我来回答了。
第一个问题，logistic回归模型由于因变量是类别变量，要经 ...

不过还有个小问题，我看到网上也有用“分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析的，我自己实验了一下，貌似它跟线性回归的分析结果差不多～～是不是意味着它也可以用来检查自变量的相关性呢？
还有判断标准的问题，有说看相关系数的，大于0.6 就可以认为存在相关；还有的说看显著性水平的，小于0.05或者0.01就是相关？到底哪个正确呢？
如果是看系数，那pearson系数为负数怎么办？是绝对值大于0.6，还是本身大于0.6？

最后，题外话，为了节约时间，干脆省略相关性分析，直接进行主成份分析可以吗？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-8-4 08:41:57

ajiao4310 发表于 2015-8-4 01:21
不过还有个小问题，我看到网上也有用“分析”——“相关”——“双变量”这个功能来进行自变量之间的相关 ...

   第1个问题，分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析和一般的线性回归没多大差别的，自然结果差不多。你可以看看谢宇老师的《回归分析》一书，https://bbs.pinggu.org/thread-3065280-1-1.html，看看里面关于相关和回归的解释就明白了。
   第2个问题，用SPSS做分析”——“相关”——“双变量”这一系列命令时得到的表格两个变量间会包含几个统计量，一是相关系数，二是检验统计量，三是显著性。不是说要以0.6去卡变量间相关与否，要结合相关系数和显著性一起看，显著性一般三个标准，0.1,0.05和0.01，分别对应着*，**和***。感觉你一些基本的概念都没掌握啊。建议好好看看《回归分析》这本书啊。
   再来说pearson系数为负数的问题，相关分为正相关和负相关，所以这个系数为负很正常啊。再强调一下，两个变量相关与否不是以0.6来卡的哦。
   最后一个问题，要不要用主成分分析仅仅看相关分析结果是不行的，相关分析不能辅助判断变量间的多重共线性程度，要做相应的统计检验才能判定（如一般认为VIF>10就存在多重共线性），自变量间存在多重共线性了，才用主成分回归啊，而不是存在相关就用。变量间存在相关是很正常的，只要不构成严重的多重共线性就OK。祝好运。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-8-4 08:48:43

xddlovejiao1314 发表于 2015-8-4 08:41
第1个问题，分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析和一般的线性回归 ...

好的，谢谢你的建议，我马上去读谢宇老师的书～～下载了还一直没有看～～不好意思～

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2015-8-4 10:00:19

xddlovejiao1314 发表于 2015-8-4 08:41
第1个问题，分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析和一般的线性回归 ...

我稍微看了下谢宇的书，在多重共线性的章节中并没有讲述逻辑回归该如何分析判断是否存在共线性，然后我在网上搜集资料看到下面两种意见
”在SPSS、SAS里多元线性回归有共线性诊断。但logistic回归比较繁杂。
如果非要做诊断可以以原始数据求得的logistic回归参数估计值再进行一次加权回归,然后利用sas线性回归中的vif或collin进行诊断。在下面的帖子里我们讨论过：求教SAS中的LOGISTIC回归 - 丁香园论坛
另外，你可以直接做变量之间的相关，如相关系数>0.8可认为有共线性。“”用多元线性回归里的就是了,

随便用一个不在自变量里的变量做因变量,
然后做回归就是了,选用进入法.
因为共线性诊断与因变量无关.与方程的参数无关.“

因为逻辑回归的因变量是分类变量，我很疑惑如果直接使用”分析“——”回归“——”线性“这个功能来判断vif值那些指标是否符合要求呢？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-8-4 10:12:12

ajiao4310 发表于 2015-8-4 10:00
我稍微看了下谢宇的书，在多重共线性的章节中并没有讲述逻辑回归该如何分析判断是否存在共线性，然后我在 ...

SPSS做Logitic回归时没有共线性诊断对话框的，共线性诊断是对自变量尤其是连续性自变量进行诊断的，所以你可以对连续性自变量做多元线性回归，以此来判定自变量间是否存在多重共线性，这时与因变量（类别变量）无关了。即你以连续性自变量中的一个作为多元线性回归的因变量，其余连续性自变量作为自变量，然后勾选共线性诊断对话框，以此来判定自变量间是否存在多重共线性，并进一步做相应的处理。我个人不推荐看自变量间的相关系数来诊断多重共线性。以VIF,CN等专门的统计量来诊断靠谱些。祝好运。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-16 11:28:12

xddlovejiao1314 发表于 2015-8-3 16:24
额，还真是有缘，又是我来回答了。
第一个问题，logistic回归模型由于因变量是类别变量，要经 ...

正好遇到这方面的问题。不知道怎么判断自变量间以及自变量与因变量间的相关性。请问下，spss数据的预处理是怎么做的？可否方便把链接给下呀~多谢呢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-16 11:49:00

didamunaoke 发表于 2015-10-16 11:28
正好遇到这方面的问题。不知道怎么判断自变量间以及自变量与因变量间的相关性。请问下，spss数据的预处理 ...

自变量与自变量间的相关性直接通过相关系数就判定了。如自变量和因变量都为连续型变量，直接按照如下操作就行：分析——相关——双变量——······；SPSS数据预处理包括极端异常值的诊断，偏态分布数据的处理，很多。我写了几个这方面的帖子。可能对你有些启示。链接如下：https://bbs.pinggu.org/thread-3569928-1-1.html，https://bbs.pinggu.org/thread-3651449-1-1.html，祝好运。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-16 11:55:33

xddlovejiao1314 发表于 2015-10-16 11:49
自变量与自变量间的相关性直接通过相关系数就判定了。如自变量和因变量都为连续型变量，直接按照如下操作 ...

多谢呢~正在做一个逻辑回归~前期的自变量间以及自变量与因变量间数据相关性就有点晕了~学习下~

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-16 11:59:09

didamunaoke 发表于 2015-10-16 11:55
多谢呢~正在做一个逻辑回归~前期的自变量间以及自变量与因变量间数据相关性就有点晕了~学习下~

这个你看我前面的回复，直接以自变量中的一个连续变量作为因变量，做该自变量与其余自变量间的多元线性相关，勾选多重共线性诊断框，看自变量间是否存在多重共线性即可。不用纠结自变量与因变量的相关，若做出来的结果自变量间不存在多重共线性，直接与因变量构建Logit模型即可。若自变量间存在严重多重共线性，先用因子分析将严重共线性指标合并，然后再建模。祝好运~

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-16 12:01:08

xddlovejiao1314 发表于 2015-10-16 11:59
这个你看我前面的回复，直接以自变量中的一个连续变量作为因变量，做该自变量与其余自变量间的多元线性相 ...

非常感谢~先试着做下~

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-16 16:34:29

didamunaoke 发表于 2015-10-16 12:01
非常感谢~先试着做下~

请教是不是标出的几个变量间共线性就很强，这样的话做回归分析的时候是要把这三个变量剔除掉2个么？
多谢啦

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-20 15:09:37

xddlovejiao1314 发表于 2015-8-4 10:12
SPSS做Logitic回归时没有共线性诊断对话框的，共线性诊断是对自变量尤其是连续性自变量进行诊断的，所以你 ...

你好还是回归分析中第一个问题。我想看下自变量是否和因变量相关？可以直接用Pearson 相关性来判断自变量与因变量是否相关么？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-20 16:51:34

didamunaoke 发表于 2015-10-20 15:09
你好还是回归分析中第一个问题。我想看下自变量是否和因变量相关？可以直接用Pearson 相关性来判断自变 ...

Pearson相关系数用来衡量两个数据集合是否在一条线上面，它用来衡量定距变量间的线性关系。如衡量国民收入和居民储蓄存款、身高和体重、高中成绩和高考成绩等变量间的线性相关关系。当两个变量都是正态连续变量，而且两者之间呈线性关系时，表现这两个变量之间相关程度用积差相关系数，主要有Pearson简单相关系数。
所以，总结而言，如果你的因变量是类别变量，是不能用Pearson简单相关系数的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-20 18:42:39

xddlovejiao1314 发表于 2015-10-20 16:51
Pearson相关系数用来衡量两个数据集合是否在一条线上面，它用来衡量定距变量间的线性关系。如衡量国民 ...

嗯那应该用啥合适呀？kendall可以么？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-20 19:02:07

didamunaoke 发表于 2015-10-20 18:42
嗯那应该用啥合适呀？kendall可以么？

http://www.docin.com/p-483973406.html，看看百度的结果。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-10-21 09:50:27

xddlovejiao1314 发表于 2015-10-20 19:02
http://www.docin.com/p-483973406.html，看看百度的结果。

多谢呢继续找些其他资料学习下

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

snoppy1205

2016-5-4 09:38:32

xddlovejiao1314 发表于 2015-8-4 10:12
SPSS做Logitic回归时没有共线性诊断对话框的，共线性诊断是对自变量尤其是连续性自变量进行诊断的，所以你 ...

您好想请教下如果逻辑回归里面自变量有分类变量用不用进行共线性诊断？如何诊断？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

蕾子的romance

2017-7-24 18:10:56

xddlovejiao1314 发表于 2015-8-4 08:41
第1个问题，分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析和一般的线性回归 ...

想请教您怎么做平行线检验

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝