全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SPSS论坛
13920 9
2011-01-14
主成份分析的原理有些不懂,涉及到不少线性代数的内容,可惜线代当年就没学好,而且这么多年也都忘了,重新简单翻了翻,感觉还是有些懵懵懂懂。
请哪位老师不吝赐教。
主要问题是:据书上说,第一个主成份是方差最大的方向,并且这个方差值等于样本相关阵最大的那个特征值。最终映射到数学问题,就是:其中

Var(a1’X)=l1=a1’Ra1 ,其中,R是样本相关阵,是一个对称矩阵,对角线的数全为1,其中的元素是矩阵X中,第i个变量和第j个变量的相关系数。l1是它的特征值,a1,是对应的单位特征向量,请问各位老师,这个式子是怎么成立的?这个式子的左边是一个矩阵的方差,我根本不知道怎么算,右边是一个二次型。如有指点,万分感激!

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2011-1-14 13:44:25
提示: 作者被禁止或删除 内容自动屏蔽
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2011-1-14 15:30:12
本科数学的问题之一就是没有把线性代数放在应有的地位上,没有讲透。而大家都知道后续科目中的公式基本上都要靠矩阵表达,这给后续学习带来不少困难,当初我也是重新自学的。闲话少叙,进入正题

绝大多数“多元统计”教材讲到多元正态分布时,都有这么一道习题,包括相关的2个证明:
1)、Y是随机变量,X是随机变量,c是常量,设Y=c.X,证明D(Y)=c^2*D(X)
2)、Y是随机变量,x是随机向量,c是常向量,设Y=c'x,证明D(Y)=c'.D(x).c
利用此结果:
∵第i个主成分Yi=Vi'.X,这里Vi是D(x)的第i个特征向量
∴D(Yi)=Vi'.D(X).Vi
∴D(Yi)=Vi'.[D(X).Vi]=Vi'[λi.Vi],第2个等号的依据是特征向量的定义
∴D(Yi)=λi[Vi'.Vi]=λi,第1个等号的依据是提取常系数,第2个等号的依据是Vi是单位向量
All done。

ps:
其实,如果完全用线性代数的语言,完全可以把主成分分析表达的更漂亮
上面的习题有时还会有第3个证明:3)、y是随机向量,x是随机向量,C是常矩阵,设y=C'x,证明D(y)=C'.D(x).C
利用此结果:
主成分y=V'.x,这里V是特征向量排列成的矩阵
∴D(y)=V'.D(x).V=Λ,这里Λ是特征值沿着对角线排列成的矩阵
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2011-1-14 17:02:35
万分感谢3楼的老师。还有一问,不胜烦扰,如有时间,敬请回复:r(Yi,Xj)=第i特征值的根号*a(ij),想知道这个式子是怎么来的,我今天证明了好几个小时也没有结果。这个式子的意思是说第i个主成份和第j个变量x的相关系数,等于这个主成份对应的特征值的根号,再乘以特征根对应的单位特征向量的第j个分量。。。因为这些符号都打不出来,不知你能否看明白。万分感谢!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2011-1-14 17:27:08
现在才感觉到矩阵真的能表达得很漂亮,那么复杂的东西可以用这么简洁的式子表达出来,真是美妙啊
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2011-1-14 22:28:58
4# regretless2006

从你的叙述看,你的教材有些问题,应该是Cov(Yi,Xj)=sqrt(λi)*v(ij),而不是Cor(Yi,Xj)=sqrt(λi)*v(ij)
主要区别是是否对X进行归一化处理,国内许多教材相互抄袭,虽然没有大错,但大都没有讲清楚,实在误人子弟。
建议看《实用多元统计分析》,Johnson 和 Wichern 合著,陆璇翻译,论坛有第4版,China-pub上有第6版,讲的很清楚。
论坛打公式是在受罪,还是贴图片吧:
pinggu.JPG
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群