误差在生活实践中的应用
于德浩
2016.11.4
误差源于生活实践,人们一般把细枝末节的不确定性称为误差。比如,一个人说他身高是1米7,一般人都不会纠结于他到底是171厘米还是168厘米。无所谓,人们只要知道他过1米8的门,碰不到头就可以了。可是,人们为什么一般只设计1米8的门而不是2米的门呢? 对了,这就是误差在实践中的应用。人们简单统计发现一般中国人的平均身高大约是170cm,误差是10cm,大约80%的人都在180厘米以下。当然了,如果在欧美“高个子”国家,那么门的一般设计高度就是2m,因为他们的平均身高大约是190厘米。
生活中的具体问题,对于误差的限定,一般是粗糙的,“够用就行”。物理学中对误差的定义要精确的多。实验的真值是对已观测的所有事例进行算术平均,而误差是观测数据的平方的平均值减去真值的平方,然后再开根号。物理学中误差的定义,是为了展示,实际观测值相对统计平均值的偏离。误差越大,那么偏离就越多;误差越小,偏离就越少,也就是说把平均值看作真值要更精确,实际应用就更“靠谱”。
简单举例,事件A,依次出现为,{9,10,11};事件B,{5,10,15}。显然,A的平均值是(9+10+11)/3=10;同理,B=(5+10+15)/3=10。虽然,A和B的平均值一样,但是如果让我们去预言,下一次A或B的实际发生值是多少?我们可以大胆地说,“A大约会是10,可能略有出入。”但对于B,我们只能小心的说,“B可能是10吧?这个说不好,偏差太大。”
在数学上,误差的定义要更为严格。概率统计学中认为,事件的真值是其数学期望值,既要包括已有的历史数据(已观测事例),也要包含未来的还未发生的所有事件。所以说,严格的讲,事件的真值或期望值,是人们永远也不可能精确知道的。但是,根据大数定律,当已观测的事例数N趋于无穷多时,其算术平均值就与真值无限接近。也就是说,物理学上的实验真值或平均值,只是其数学期望值的近似值,默认已满足N非常大的苛刻条件。
从某些具体实践应用来看,数学上的严格似乎是多此一举。比如,N=1亿才能满足数学上的无穷大要求;而实际上,N=1万,甚至N=1千就“足够”是现实中的无穷大了。数学也是侧重应用的,“平均值不是严格的真值”主要是告诉人们,对于事件真值的估计,除了平均值估值法,还有很多其他的方法,比如“最大概然值估值法”。人们切不可局限于“求平均值”这么一种方法。
简单举例,现有1万个历史数据,对于传统的“真值”估计,就是把1万个事例算术平均,比如,求得真值是10。而“最大概然值估值法”要相对更简单,我们只要随机抽取其中的100个事例,大体的粗略观察,发现其中80个事例都是在10附近,于是我们也可以得出结论,事件的真值应该就是10。
概率统计学中,随机变量的二阶中心矩被定义为方差。方差的平方根就是标准差,标准差就是物理学中的误差。数学上的中心矩概念要更规范,一阶中心矩就是真值或期望值,也就是一般人们所说的平均值;二阶中心矩就与误差相对应,三阶被称为偏度,四阶被称为峰度。更高阶数学上也可以有,但是实际生活中根本就用不到。当然,人们日常生活中最常用的还是平均值和误差,就是数学上的期望值和标准差。
我很有必要在此强调的是,老百姓口中的“未来的真实情况”不是数学上定义的事件的真值,而是指未来事例的某一个观测值。简单举例,比如现在股票的价格是15元,这是一个现在的实际观测值;证券分析师说,该股票估值是10元,这个是分析师依据某一种分析方法估计的期望值或真值。股民问,一年后股票的价格会变成多少,他是想知道一年后的股价具体观测值。分析师一般会这么回答,一年后股票估值约为12元,这个是指期望值或平均值。而一年后,股票价格到底是变成12元;还是上涨为20元或40元;还是下跌为10元或5元;这些具体的未来实际观测值,分析师他当然不知道,任何一个人也不可能知道。
我们说,世界是不可预测的,就是指未来的具体观测值不确定性太大,无法预言;我们说,世界是有规律可循的,就是指其期望值或真值,人们是可以合理估计的。由于股票价格的误差相对太大,所以仅就某1年的价格和期望值一一对应是不切实际的。但是,如果人们能够坚持10年或20年,都一贯以企业的内在价值去对应股票价格,这种做法就是可取的。用数学语言表述,10年的事例数足够多了,才达到了N趋于无穷大这个前提条件。
下面,我举一个简单例子,来具体看一下误差的计算及应用。假设,事件A有3万个历史数据,大体可以认为是{9,10,11}这个基本数列的1万次重复循环。现在,我们只需简单分析这一组3个数即可。 显然,A的真值或平均值,就是(9+10+11)/3=10;而方差是,[(9^2+10^2+11^2)/3]-10^2=2/3;误差或标准差就是,(2/3)^0.5=0.82。于是,人们一般写为,A=10加减0.82。值得注意的是,误差不是1;即看上去想当然的10-9或者11-10=1。
在这个具体的事件A中,期望值是10,标准差是0.82;所有的3万个事例都分布在距离真值正负1.2个西伽马以内,其中1.2=(11-10)/0.82或者(10-9)/0.82=1.2。对于下一次未来的类似事件A,人们给出的预言是,其观测值大约应该是10,可能有0.82大小的偏差。当然,量子力学式的描述会更精准,“其观测值将处于9,10,11这么3个量子态,每个概率都是1/3。”
在实践中,如果人们对事件A的要求很宽,比如只要介于6-15就好,那么事件A就是可行的,而且成品率为100%。如果人们要求A大于等于10且小于12,那么事件A的成品率就是2/3=67%。假如人们要求成品率高于50%就行,那么事件A也是可行的;而若人们要求成品率必须高于80%,那么事件A就不可行,人们应该去找寻新的方案B或C。
具体到福利彩票的案例,一般来说,投注1次2元,中奖200万元的概率,大约是一千万分之一。也就是说,平均需要花费2000万元,才能得到200万元;这显然是一个亏本的买卖,理性人是不可能让这个事件A发生的。但是,感性人的要求很宽,一千万分之一的成品率已经达到了他的要求。所以,一般都是知识文化水平较低的穷人捐款福利彩票,富人一般不参与这个游戏。
物理学上的测量误差一般满足正态分布,所以大都写成上面的事件A=平均值+-误差的形式。高斯分布是关于期望值左右对称的分布,而且期望值与最大概然值重合。一般人们可以计算出高斯分布1倍标准差以内的事例占比是70%,2倍西伽马以内是95%,3倍西伽马以内则高达99.8%。就是说,如果一个事件A满足高斯分布,那么所有的过去现在及未来的事例几乎都会在3倍标准差以内,逃不出这个如来佛的手掌心。这个3倍西伽马原则是一个非常有用的法宝,富人一般会用于股票投资。比如,股票的价值是10元,误差很大也是10元。显然,如果仅用“平均值”这个参量是没多少意义的。如果,假设股票价格分布满足高斯分布,适用于3倍标准差原则。那么,好了,我只要在10元处买入股票,然后耐心的等到股票价格总有一天会上涨到10+3*10=40元,到达最右端的3个西伽马处。这时卖出,就有3倍的利润。当然,这个过程很可能是漫长的,煎熬的,正如巴菲特所言,也许是5年、10年或20年。
而且,股票价格分布明显就不是正态分布,人们只能用普通的随机分布去限制它,这时候的应用法则就是切比雪夫不等式。他证明,随机变量落在n倍西伽马以内的概率大于(1-1/n^2)。就是说,随便一个随机分布在2倍标准差以内的概率是1-1/4=75%,在5倍西伽马以内的概率是1-1/25=96%。人们一般把概率小于5%的事件归为小概率事件,在实际生活中不会或很少发生,这就是5倍西伽马原则。依据上面的分析,5倍标准差更好啊,那就意味着股价可以从10元上涨到10+5*10=60元,获利500%啊。我要说明的是,高斯分布给出的是一个确定的等式,而切比雪夫给出的是不等式。这很可能意味着,股价上涨到50元,就开始回撤了,你死等60元最高目标价换来的是白做一趟过山车。“辛辛苦苦盼五年,一朝回到解放前。”
当一个随机事件的分布不是正态分布时,这时候的误差或标准差限定其实意义不大。股票价格的概率分布,从大体上看,与家庭财富的社会化分布很类似,赤贫的人很少,大多数是普通工薪阶层,少数中产阶层,极少数富人阶层。从图形上看,就是左侧较低,迅速攀升到最大概然值处,然后缓缓下降,形成右端长尾分布。期望值或平均值在最大概然值的右侧,就是说平均工资要高于一般工薪阶层,这就是人们常常调侃说,“我又被高工资平均了一次。”目前,经济学界往往以幂级数或指数分布来描述期望值右端的长尾巴。在我看来,这个分布实际更类似于黑体辐射中的普朗克分布,我估计经济学家可能很少看物理学。
如果看一个长周期的牛熊市,股价大部分时间都处于相对低价位。比如,在2006.1-2013.6这个大约7年半的长周期里,上证指数大约在1000-2000点的超低点位持续了1年;在3000-6000点的较高处持续了1年半;而在2000-3000点则持续了漫长的5年。在股民们最喜欢最狂热的5000-6000点仅持续3个月,前两个月的最后冲刺紧跟着一个月的大幅下跌。
我在此主要想说的是,对于类似股价分布这样的非对称的右长尾分布,标准差或误差的参考意义就几乎没有了。就是说,假使我们仍然认为2000-3000点是处于正负1个标准差以内,概率达到70%。那么标准差就是(3000-2000)/2=500。但是如果一旦这样认定,那么最高处6000点就相当于(6000-2500)/500=7倍西伽马处。这就远远超出高斯分布的3倍西伽马原则,也超过了切比雪夫的5倍西伽马标准。
另外一种我认为比较合理的分法就是,把3000点看作是期望值,1000是标准差。上证指数在期望值左侧1个标准差内的概率是5年/7.5年=2/3=67%,而6000点最大值仍然是处于右端3倍西伽马处,(6000-3000)/1000=3。当然,这有些牵强附会。
我认为,针对此类情况可以舍弃误差分析,而改为区间概率分析。就是说,我们把事件出现的状态分为3种:普通,稀有,特殊。 其中普通常态大约占比70%,稀有占比25%,特殊占比5%。人们的任务主要是界定普通常态的区间及特殊态的区间。
比如,我把2000-3000点归为普通常态;5000-6000点,归为特殊态。具体的投资实践指导,就是在常态或以下时买入股票,在特殊态时卖出股票。常态时买入股票,可以从容的慢悠悠的建仓,特殊态时卖出股票可以防止高位博傻。也许你说,你怎么区分常态和特殊态呢?很简单,常态有5年呢,基本上每天都可以买入股票;而特殊态更好判断,疯狂的时候肯定是特殊的。在2007年最后一个季度时,人们很难预测上证综指会不会突破1万点,但是几乎每个股民都知道,这是疯狂的,现在很不正常。
当然,最令人困扰的是,如果2009年买入3000点的股票,实际上也是一个相对高点,而且,后面是漫长的5年熊市。我只能说,这个无法避免,只能等,耐心的等到下一个牛市即2015年的5000点到来。“吃得苦中苦,方为人上人”,巴菲特就是这么日复一日坚持的,我们为什么就不能向股神学一学呢?