不过根据新了解到的情况来说，CPI的八类权重和指数，在总局层面没有问题。这个我接受了。

谢谢大可水米的讨论发言。目的是从讨论中进步，不存在其他想法。

我想说的是，统计数据也许存在不准的地方，但是从cpi上，而且是从分类cpi推导出总的cpi错误，我觉得是没有道理。不能先戴上有色眼镜，然后说统计数据全是假的，然后从哪个地方也可以找出证据来。

楼上新了解的情况，在总局层面没问题，你接受。那请问计算出八大类权重中存在负值是什么原因？除了共线性解释还有什么其他解释。你所说的T值检验，多重共线性下，T值检验的可靠性会下降，但不表示，T值检验都显著，就说明不存在共线性。这属于必要非充分条件，甚至连必要条件也算不上（T值不显著也不一定是共线性导致的）。

而“八个是同比指标，类似于差分的口径，没有明显的趋势性”这句话也值得商榷，同比、查分没问题，大家都知道，一般情况下，涨价时大多数商品都会涨，跌价时都在跌，商品之间的价格波动本来就存在一致性，只不多幅度大小不同。我只是用共线性说明八类商品价格变动趋势存在一致性或者说是相似性，并没有说各自有明显趋势性。讨论的问题南辕北辙，没说到点子上嘛

用相关系数矩阵可以说明一下，但是也只是说明两两变量之间的线性关系，并不能说明整体的多重共线性。最严谨的办法是建立 每个分类cpi用其他7类cpi的线性回归方程。这样建立八个，看有没有存在哪个分类cpi可以由其他7类cpi线性表示。我的原始数据没了，有兴趣的可以试试，把结果附上。

如果谁确实证明了确实不存在多重共线性，这说明我的理解出发点有错误。欢迎大家找出来！

你好，我不是研究员呵呵，叫我奇渊就行。

通常检验多重共线性是不是一个严重的问题（一般这个多问题多少都存在一些，只不过看有多严重，是不是影响分析），我们有这样几个常用的办法：（也有可能不够严谨）

  （1）初步观察。当模型的拟合优度（R 2）很高，F值很高，而每个回归参数估计值的方差Var(j) 又非常大（即t值很低）时，说明解释变量间可能存在多重共线性。
  （2）Klein判别法。计算多重可决系数R2及解释变量间的简单相关系数rxi xj。若有某个
 rxi xj  > R2，则xi，xj间的多重共线性是有害的。
  （3）回归参数估计值的符号如果不符合经济理论，模型有可能存在多重共线性。

就第（1）个方法而言：
我们看原文的回归结果：R2=0.99977,F值23000多，各项t值，最小的也有2.12，3.57，最大的有115.
就第（2）个方法而言：
你看相关系数矩阵，有哪个相关系数是大于0.99977？
就第（3）个方法而言：
你我的估计结果，权重基本也是符合直觉的。特别是你的估计。


我原文的估计有一个隐含了假设：权重变化很小，或者说是变化不大。因此才使用了这样的回归方式。
这是因为原来我对CPI编制有误解，原来是以为“权重五年一大调，每年一微调”；但实际上，年与年之间的调整也并不小；而且thunders也证明了，即使较小的调整，对估计的影响也是比较大的。这是理论上的问题。

最后，我已经跟统计局相关部门做了详细的了解，总局层面确实不存在数据的人为调整问题。所以，就这个争论，我想本身已经没有什么意义了。因为答案已经有了，就是我的方法错了，统计局没有人为调整（至少是没有证据表明，但我现在相信就是没有——在一级分类权重下）。

101.9        103.6        100.2        98.4        100.6        100.3        99.5        100.9        105.2
100.9        101.2        100.2        98.6        100.6        100.5        99        99.5        105.2
100.8        100.8        100.2        99.2        100.6        100.7        99.3        99.8        104.6
101.2        101.8        100.4        99.5        100.7        101        99.4        99.9        104.3
101.4        101.9        100.4        99.6        100.8        101.3        99.8        99.9        104.5
101.5        102.1        100.5        99.5        101.2        101.5        100.4        100        104.3
101        100.6        100.5        99.4        101.4        101.4        100.3        100        104.5
101.3        101.4        100.6        99.5        101.5        101.5        100.1        99.9        104.8
101.5        102.4        100.8        99.5        101.7        101.3        100.2        98.6        105
101.4        102.2        100.8        99.8        101.7        101.3        100.1        98.7        104.6
101.9        103.7        101        100.1        101.8        101.3        100.3        98.5        104.2
102.8        106.3        101.5        100.1        101.9        101.2        100.4        98.4        104.6
102.2        105        101.5        100.5        102        101.3        99.7        97.7        103.8
102.7        106        101.8        100.2        102.2        101.4        99.6        99.2        103.7
103.3        107.7        101.8        99.8        102.2        101.4        100.1        99        104
103        107.1        101.7        99.8        102.2        101.5        99.8        98.8        104.2
103.4        108.3        101.7        99.9        102.2        101.6        99.5        98.8        104
104.4        111.3        101.7        99.7        101.8        101.9        98.9        98.8        104.4
105.6        115.4        101.8        99.4        101.7        102.2        98.7        98.8        104.4
106.5        118.2        101.7        99.1        101.7        102.3        98.7        98.9        104.3
106.2        116.9        101.7        99        101.8        102.6        98.6        99.6        104.2
106.5        117.6        101.7        98.7        101.8        102.9        98.3        99.5        104.8
106.9        118.2        101.8        98.6        101.9        103.1        98.6        99.5        106
106.5        116.7        101.7        98.3        101.9        103.2        98.6        99.5        105.9
107.1        118.2        102.1        98.1        102.1        103.2        98.9        99.7        106.1
108.7        123.3        102.4        98.6        102.1        103.2        98.6        99.1        106.6
108.3        121.4        102.5        98.8        102.5        103.7        98.3        99.3        107
108.5        122.1        102.6        98.6        102.7        103.6        98.3        99.3        106.8
107.7        119.9        102.8        98.5        102.8        103.3        98.4        98.8        107.1
107.1        117.3        103.1        98.5        102.9        103.1        98.9        99        107.7
106.3        114.4        103.1        98.6        103.1        103.1        99.7        99.1        107.7
104.9        110.3        103.3        98.9        103.2        102.9        99.8        99.2        107.1
104.6        109.7        103.4        98.8        103.2        102.6        99.8        99.6        106.5
104        108.5        103.4        98.7        103.4        102.4        100        99.7        104.6
102.4        105.9        103.2        98.3        103.1        102        99.3        99.7        101.1
101.2        104.2        102.9        97.8        102.9        101.7        98.6        99.4        98.6
101        104.2        102.4        97.3        102.6        101.6        97.5        100.3        97.7
98.4        98.1        102        97.7        102.1        101.3        97        98.9        97.1
98.8        99.3        101.8        97.7        101.5        101        97.5        99.3        96.5
98.5        98.7        101.6        97.7        100.9        100.9        97.8        99        96
98.6        99.4        101.4        97.7        100.5        100.9        97.7        99.2        95.2
98.3        98.9        101.2        97.7        100.1        100.9        97.6        99.3        94.3
98.2        98.8        101.2        97.6        99.6        100.7        97.3        99.3        94.2
98.8        100.5        101.3        97.8        99.3        100.9        97.1        99.1        94.6
99.2        101.5        101.3        98.2        99.1        101.1        97.4        99.1        95
99.5        101.6        101.3        98.4        98.8        101.2        97.3        99.3        96.2
100.6        103.2        101.3        98.8        98.9        101.6        97.8        99.4        98.8
101.9        105.3        101.4        99.2        98.9        102.2        98.5        99.7        101.5
101.5        103.7        101.5        99.6        98.9        102.3        99.5        98.8        102.5
102.7        106.2        101.6        98.7        99.2        102.4        100.1        100.8        103
102.4        105.2        101.7        98.9        99.3        102.5        100        100.3        103.3
102.8        105.9        101.7        98.7        99.5        102.8        100        100.4        104.5
103.1        106.1        101.7        98.8        99.7        103.2        100.1        100.6        105


上面是原始数据，同比口径，2006年1月到2010年5月，第一列是总体CPI，后面是八个分类指数。

最后再说明一下：原来的报告也提到了，在权重等数据公布之前，所有的研究都只是雾里看花、水中望月，
也就是说，我承认自己的研究也是这种性质的，只是想引发大家对这个问题的讨论和关注，更重要的是讨论应该如何改进数据编制的方法，提高数据质量（我之后又发布了第二篇研究报告《CPI数据还有哪些改进之处》，可以到世经政所首页下载），但是却鲜有人关心这个报告，一直停留在低估了多少层面的争论。
我对此表示遗憾。希望大家一起来努力，对统计工作提出有建设性的意见，把事情做好。而不是单纯的抱怨、愤怒，或者是简单的数字游戏（当然技术讨论和批评也可以继续进行，但仍然希望把更多的注意力放到建设性的努力上来）。

欢迎大家继续拍

CPI就是个指数，应该说通胀被CPI低估了吧

10# 大可水米

你能主动承认自己的方法错误，说明足够客观，诚恳！人品刚刚滴，让人敬佩。
但我想跟你讨论的是你对方法错误的解释不是很具有说服力。你认同thunders的解释，我不认同。

你好，按照你的数据，第一列y ，后面 x1-x8
我用eviews6.0 命令 ls  y x1 x2 x3 x4 x5 x6 x7 x8
（不包含常数项）计算结果如下：
Dependent Variable: Y   
Method: Least Squares   
Date: 11/18/10   Time: 16:29   
Sample: 2006M01 2010M05   
Included observations: 53   
   
Variable Coefficient Std. Error t-Statistic Prob.  
   
X1 0.326488 0.002896 112.7334 0.0000
X2 0.115931 0.018793 6.168677 0.0000
X3 0.055935 0.012225 4.575307 0.0000
X4 0.032379 0.009146 3.540207 0.0009
X5 0.061848 0.021623 2.860258 0.0064
X6 0.114109 0.018534 6.156727 0.0000
X7 0.127404 0.011518 11.06173 0.0000
X8 0.164593 0.005447 30.21821 0.0000
   
R-squared 0.999746     Mean dependent var  102.8283
Adjusted R-squared 0.999706     S.D. dependent var  2.946927
S.E. of regression 0.050487     Akaike info criterion  -2.995944
Sum squared resid 0.114702     Schwarz criterion  -2.698542
Log likelihood 87.39252     Hannan-Quinn criter.  -2.881577
Durbin-Watson stat 1.661585   
   
sum（Coefficient）=

0.998688

感觉可以呀。

当然，你的回归有常数项，回归结果里面常数项存在而且远远偏离零。没有得出我的结果，肯定你的回归R2比我的好，不然结果肯定是我这个了 呵呵

另外，我用ls x1 x2 x3 x4 x5 x6 x7 x8，然后把x1与xi依次交换，计算xi与其他7个x的回归方程，得到的结果，x1/x2/x5/x7/x8（记不是很清了，没记录）等与其他回归效果很好，R2达到85%+。x8我最后算的结果如下：

Dependent Variable: X8                                
Method: Least Squares                                
Date: 11/18/10   Time: 16:36                                
Sample: 2006M01 2010M05                                
Included observations: 53                                
                                
Variable        Coefficient        Std. Error        t-Statistic        Prob.  
                                
X1        0.333916        0.061008        5.473314        0.0000
X2        -1.882419        0.426346        -4.415240        0.0001
X3        -0.859759        0.305694        -2.812481        0.0072
X4        0.590806        0.231743        2.549395        0.0142
X5        0.732510        0.575280        1.273310        0.2093
X6        2.651515        0.314437        8.432574        0.0000
X7        -0.539266        0.301462        -1.788832        0.0802
                                
R-squared        0.893827            Mean dependent var                102.8642
Adjusted R-squared        0.879978            S.D. dependent var                3.944816
S.E. of regression        1.366649            Akaike info criterion                3.585101
Sum squared resid        85.91558            Schwarz criterion                3.845329
Log likelihood        -88.00518            Hannan-Quinn criter.                3.685172
Durbin-Watson stat        0.703966                        
这足够说明x8已经与其他x存在共线性了吧。而你的共线性检验方法都有点死板教条，我这是通过多重共线性的定义上来的。

我采用的数据是你提供的噢。        
所以我的观点是，很可能是共线性导致的原因，而不是你们所说的每年的权重调整导致的结果出现问题。

每年的微调绝对不会导致算出有7%的误差来。按照你的回归公式，回归结果理想状态下是常数项为零，各系数和为1才ok。
在存在共线性（当然按照我的回归方程结果，说明共线性存在但没达到明显改变权重的效果）情况下，你的这两个硬约束想通过回归结果来说明很难。我的计算是基于一个硬约束即常系数为0前提的，从结果看第二个硬约束也算满足的比较好。

我主要是想从统计技术层面和大可水米讨论方法问题哈，绝对没有刁难的意思。
另外，我也明白，即使证明了从八个分类cpi中找不到CPI计算中存在人为的调整，但这也不能说明CPI就是正确的，就真实反映了物价。到底CPI统计制度改进方面，不是很了解，我也提不出什么有价值的参考意见。我最关心的，不是菜价到底涨了多少，一个月买菜才花多少钱呀，房价一按揭，刚发的工资都没了。先搞清楚房价再说吧，房价可算是相对单一的商品了吧。
《统计数据和主观感受：风动还是幡动》一文中的观点明确，但是计算方法有漏洞，不能支持观点。但不能说明观点错误哈。只不过大可水米自以为抓住了统计局的小辫子，结果证明没抓住，很可惜，但也只能说明统计局也许没有小辫子；也许有，但隐藏的没那么浅。

楼上，再回应一下
（回应之前我复习了一下多重共线性的诊断有以下几种方法）
1. R2值高而T值相对较小
2. 解释变量间有高度的两两相关
3. 检查偏相关
4. 辅助回归
5. Klein经验法则
6. Eigenvalues(本征值)和 condition index
7. 容许度tolerance

我前面提到的是1，2，5（我承认原文做回归时候，也是根据第1条，所以没有对多重共线性产生担忧）。
而你说的：计算xi与其他7个x的回归方程，就属于上面第4种方法。

不过，我查阅了一些教材（基础不好，所以只好教条一下），比如古扎拉蒂对这七种方法的评价，都是有其局限性的。
比如对第4种方法就提到：“不幸的是，如果遇上几个复杂的线性相关，做这种曲线拟合的练习就不一定有多少价值；要辨别各个不同的交互关系仍然是困难的”。（当然，我觉得如果只有两个解释变量，那输助回归也是完全有效的，但在多个变量的时候，不好说——看一下Gujarati使用巴伦坦图对多重共线性性质的说明，即知）。

其他那些方法（例如我用的那三个常用的简易的诊断方法），也都有一些缺陷。
这些方法并没有好坏之分，而都属于“经验法则，不可把这个经验法则当作法定的规则来运用。”

所以，尽管你的检验让我对原来的判断感到怀疑，但仍然难以让我确信。

我根本就没有这么深厚的知识哈，你说的n多方法我听都没有听过。“不幸的是，如果遇上几个复杂的线性相关，做这种曲线拟合的练习就不一定有多少价值；要辨别各个不同的交互关系仍然是困难的”。这句话是英文直接翻译的吧？读着很拗口。这句话的背景是什么？曲线拟合的练习是指的什么？我们做的这里只有线性回归，算是直线拟合，没有曲线。

我想说的是，“经验法则”指的是当出现所预想的情况特征时，很可能存在某种假设现实。而如果能用其他自变量来解释某一个自变量（不管是有意义的数据反映上或者仅仅是在样本数据的表现上），那么存在多重共线性是一定的。说明如下：

如果x8可以表示为x8=g（x1，...x7）。其中g（X-｛x8｝）是线性回归函数。假设已经知道CPI=f（X），f（X）也是线性回归函数。那么我们就可以把f（X）中的x8分解成a*x8+b*x8，（其中a+b=1，a，b为实数）再把x8=g（x1，...x7）代入f（X）中的a*x8；而b*x8的部分保留在f（X）中，这样我们会得到新的与f（X）相等价的u（X）——线性函数的组合仍然为线性函数。他们的回归效果相同，但是函数表达式即各项的的系数不同。a、b可取的值是无穷的。极限情况下，a=0，b=1,u(X)与f（x）相同；b=0，a=1,u(X)中x8项系数为0，即u(X)=u(X-{x0}).

这就是我理解的共线性。不知道和你理解的是不是相同。在存在共线性的情况下，回归方程能够得到一个解集或者叫解空间，里面的每一个解，都是由一组[a,b]决定的。但是由于随机项的存在，上面的等号应该是约等号，用最小二乘来估计，会得到在解空间中残差平方和最小的那一个解，而那个解在现实中并不一定有意义。这就是为什么要消除多重共线性的原因。

当然，如果xi=g（X-{xi}）这个函数关系在回归样本之外(既预测样本中)仍然存在的话，用哪一个u(X)也可以进行预测。这就是多重共线性虽然没有实际意义，只要方差没有变大趋势，仍可以进行预测计算的原因。

我看了一下，你前面说的21个月，或者包括我做过的12个月滚动回归，确实存在多重共线性（严重）。
不过说明一下，我原来的想法是：只要样本点严格落在一条直线上（CPI严格按照不变权重估计），那么估计结果应该也是完全准确的。但是我没有想到的是：即使CPI严格按不变权重估计，但是因为统计局公布指数只到小数点之后一位，比如：104.4，这种很小的误差，实际上会产生严重的问题，并以多重共线性的方式表现出来（实质是公布数据的误差）。

但是在样本数量比较大，从而变异也范围也比较大的时候，因为误差而导致的问题就会有所缓解，从估计结果上来看，53个样本的估计结果还是相当理想的。包括楼上你曾经提到“sum=0.999724264988990约等于1。我个人感觉这个数据可以接受，而我并没有使用权重和等于1这个前提，sum=0.9997算是结果后验了权重和=1的存在，反过来证明了结果的正确性。并且与htt大概权重：食品34％，日用品5％，衣着9％，家庭设备及维修4％，医疗保健11％，交通通信9％，娱乐教育文化15％，居住14％虽有一定差距，但也很接近，说明数据存在一定的可信度”。

我也认为你的方法说明了多重共线性确实在一定程度上存在（多多少少总是有的），而且如前所述，在12个月，21个月的回归中比较严重。但是在53个月已经相当微弱了（这方面的证据，恰是你在第1楼的，一个不带截距项的回归，结果如你所说非常理想。）

我觉得thunders的例子还是很有说服力的，你仔细看看她的例子：数据还是这些数据（如果有多重共线性的话，还是有吧）；但如果53个月间的权重确实保持常数，则估计结果还是完全准确（能够精确还原真实权重的）；而另外一方面，她给出的模拟情况表明，即使年度权重是微调，也会引起截距项估计的较大误差。可见，在53个样本的估计中，多重共线性对结果的误导并不是决定性，既不必要也不充分（不充分的例子：如果权重在53个月保持为不变常数，则估计结果能够完全准确的还原真相；不必要的例子：权重的变化同样能够解释估计结果的偏差）。

最后，很重要的一点，也颠覆性的，就是我们还需要对统计规则本身多加了解（我原先了解不够）：
全国CPI指数并不是按8个分类加权得到的！
而是按照城镇、农村两个CPI指数加权得到的，而城镇和农村的CPI指数才是基于8类权重的。
目前，我对上面这些步骤均进行了检验，发现都是没有问题的。
（隐含的一个疑问是：第一个方案：直接按8类权重加权，第二个方案，先按8类加权分别得到城市和农村的CPI，然后再按城市和农村的消费占比加权得到全国CPI；第一个方案和第二个方案是否等价？或者说，实际上用第二个方案编制的，能不能用第一个方案的理解进行估算？我写了一下公式，发现是不行的。因为农村和城市的CPI指数不同，各项分类权重也不同，是无法合并提取的，所以这才是最大的问题。不过，为什么我们的回归结果还可以？因为，城市和农村的CPI变化还是比较相似的，所以使用第一个方案的理解方式进行回归，也有看起来还可以的结果，但是肯定会由此带来估算的误差。）


我会把现有的讨论总结回顾一下，再放上来供大家批评。

17# 大可水米 我建议你每12个月做一次无常数项的回归，连续做几年的数据，比较一下他们的权重系数结果的变化情况，如果变化很小，且权重和保持在1左右。这说明这种回归效果一直是较好的而且比较稳定的。小样本下可能比较难，但也可以用类似我得到的整体数据的无常数项结果的拟合函数后验各个时间段的残差变化情况，如果误差一直保持在很低的水平也算说得过去。
正是由于存在共线性，样本的不同导致了含有截距项的回归方程的解在解空间里发生了随意的跳动（如果回归结果随着样本的变化而变化很大，而回归效果仍然一直保持很好，这也是说明多重共线性的经验之一，因为不仅仅是在这里的cpi上，在很多存在多重共线性情况下都是这样），我认为这才是引起不同样本下截距项波动很大的原因。

CPI是这样产生的呀，我一点也不了解。我一直以为就是一个简单的cpi，没想到这么复杂。看来隔行如隔山，想找统计局的问题还必须得专业间谍说才能一语中的，言之有据。

楼上，12个月的滚动回归，有常数项和无常数项的都做过，结果都非常不好。
是表现为多重共线性的症状，但也可能是因为样本太小所导致。
根据权重一年一调的假设，总能找到12个月内权重为常数的时期，但拟合效果仍然不好，可以说另有原因，我跟thunders讨论之后发现，原来是因为公布数据的误差导致（一般只公布到小数位后一点，例如4.4%），而12个月的时候， (X'X)-1X'Y当中， (X'X)的行列式值极其小，小到10的－41次方量级（2006年12个月），所以，这时候微波的公布误差，都会导致估计结果的巨大波动。而我之前把这个当作确切数了。

四、附 录
调查方案说明1.居民消费价格指数调查方案
(四)全国指数的计算
1.全国城市(农村)指数的计算
全国城市(农村)指数根据各省(区、市)指数按各地居民消费支出金额加权平均计算。
2.全国指数的计算
全国指数根据全国城市和农村指数按城乡居民消费支出金额加权平均计算。

我奇怪为什么统计局官方（庞文）不在第一时间指出我原文的这一错误。
（因为如前所这，直接按8类估计和按城市、农村估计，并不是等价的）

19# 大可水米 哈哈这说明统计局那个家伙自己也不是很懂哈！ 我感觉现在咱们的观点并没有多大的差异性了。我和你一直讨论的是一直是反对你说是统计权重的频繁调整导致了结果的异常。而我的观点是共线性。你上面提到的公布数据的误差，只保留到小数点后1位，这个我最先阐述我的观点的时候也提到了。当然这也可能是导致共线性的原因之一。X'X的行列式值极其小与共线性是一致的。多重共线性在线性代数里面就表现为方程系数矩阵的秩小于参数个数，即X‘X行列式等于0。这时候方程的解不唯一，表现为解集。终于把知识都串起来了，呵呵

是的，你说的对，但我觉得12个月的时候，确实存在严重的多重共线性。
不过，53个月的时候，我觉得这个问题并不严重啊。

53个月时辅助回归R2最大多少啊。再说53个月和你说的cpi权重年度微调和关系不大了，微调累集四年多也可能不小了，说不定都经过5年大调了。

补充所用数据，来自国家统计局官方网站
你用别人的数据还想反驳别人？？中国做学问的都是这样的，特别是搞实证的，睁眼说瞎话。顺便说一句，我们这些P民是相信国家统计局官方数据的，不知道楼主怎么这么非主流呢？？？？？