每个主成分都是原始变量的线性组合,有几个变量就能找到几个主成分,主成分的方差越大,它对原始变量组合的整体波动情况的拟合也越好,解释的信息也越多,我们就可以选取较大的几个主成分来达到降维的目的,这就是主成分分析要求主成分的方差越大越好的原因吧;
因子分析是找出所有变量的“公共部分”,可能某一个因子跟第一个变量的相依程度大(因子载荷值大),跟其余的小一些;而另一个因子跟第二个变量的相依程度大……;而我们总是希望公共因子的个数小于变量的个数,这样才起到了降维的作用,所以它跟主成分的出发点是有区别的;而由于方程左边的变量一般都是先标准化,而因子又是由变量决定的,所以因子的方差自然就为1了…
解释得不够严谨,请大家补充。