比数据更重要的是见解！

1983

收藏 2014-07-16

   对数据的盲目崇拜往往是失败的一个诱因，许多事情表面理性，其实却缺乏最基本逻辑。在大数据时代之前，海量数据曾经也是一个时髦的词，而从海量数据分析曾经的辉煌到如今的阴霾中，我们是否还能学到些什么呢？

   两年前，纽约时报刊登了这样一个精彩绝伦的故事：在明尼阿波利斯市，有一个男人闯入当地的塔吉特百货公司狠狠地抱怨了一番，因为塔吉特公司不停地在向他年仅十几岁的女儿寄婴儿衣物与孕妇装的折价券。小姑娘真心觉得她自己并没有怀孕，并且完全不需要这些折价券。于是公司经理一再向这位父亲表达了歉意。

   你大概已经猜到接下来发生了什么——很快那个小姑娘就被确认已经怀孕了。她的爸爸此前完全没有发觉，甚至连她自己也没有。而塔吉特，在分析了她所购买的无香湿纸巾与饮食补给品之后，却意识到了。

   海量数据对于商业乃至整个人类社会价值毋容置疑。统计模型仅仅在它所研究的样本范围内正确，而抽样失误与样本误差又同时存在。海量数据，以其巨大的容量，可以非常有效地减少样本误差（在理想条件下，全部人口的数据都能被获取）。此外，根除人工失误使得把完全无误的数据交给算法成为可能。但是，海量数据的积极鼓吹者们大多都没能发现的是，这些数据本身对它们之间的因果关系完全不加以考虑。数据库越是庞大，人们就越无法在找寻到因果关系之前确定数据间的相关性。如果输入的数据出错，那么海量数据算法能告诉我们的，终究也不过是一个精准预测的错误答案罢了。

   用人类智商的例子来解释把相关性误作因果关系的危害。如果我们把全人类的体重和智商的数据进行回归分析，我们会发现这两组数据间有一个清晰的相关性：平均来说，体重越重的人在智商测试中获得的分数也越高。然而这并不意味着你需要多吃才能学得更多更好。这两组数据其实都与年龄有关，当一个人长得越大，他/她会变得越重同时也学得越多（此外他还会长得越高）。如果缺乏合理的基本理论，仅仅从统计分析中得出结论，是非常危险的，而当今许多海量数据系统都无法解释因果问题，这并不是在危言耸听。

   过去有大量的案例可以表明，投资界内人士过于依赖数据会造成怎样的可怕后果。长期资本管理公司不过是其中一个罢了。被塔吉特公司误发尿片广告邮件的未怀孕的女士，肯定比它正确发现的孕妇多得多。一个精准挖掘到有用数据的系统，可能诞生于一千个足以让投资者倾家荡产的同类系统之中。我们并不否认，如果设计正确，那么海量的数据能够既体现相关性又把握住因果关系。想想机器学习，以及从中获得极大成功的谷歌翻译项目便可得知。但是就目前而言，从海量数据分析能给我们的承诺来看，它真正的价值，以及为它估价所冒的险，仍然需要我们拭目以待。

   但这并不是说我们现在就无法把海量数据分析本身作为获利工具。塔吉特并没有给每一个它认定已怀孕的人寄去满是婴儿用品的目录表。它们只是在随机普通产品间混入了部分有目的宣传的商品罢了。这可能是塔吉特的一个非常巧妙的策划，因为这样顾客也不会因为秘密暴露而被吓到。但十有八九，塔吉特其实也拿不准收到折价券的顾客究竟有没有怀孕。想要利用分析工具赚钱，其实并不需要我们正确知道全部事实，只要稍稍提高一点点市场精准度就足以带来可观的收益。我们需要加以注意的，仅仅是海量数据的局限性以及贸然使用它会带来的危险。

   毕竟，对投资者而言，比海量的数据更重要的，是伟大的见解。

帮助人大经济论坛推广，复制贴子内容（带人大经济论坛网址）并发到其他论坛和网站；或点击贴子标题后的“推广有奖”，把本贴推荐到QQ群或自己的微博（最好@人大经济论坛），然后跟贴贴出链接或截图，证明已作推广的，将获得如下论坛币的奖励！（大家一定要把群现有人数或微博粉丝人数截屏出来哦~不然只能奖励10个币哦）
活动奖励方式（同一个群或微博或网站分享多次算一次，所有截图均需显示分享人数，否则默认低档奖励）：
1.凡分享的QQ群，人数在100人以下的，视情况奖励10-20论坛币；100-500人的，奖励20-50论坛币（每群限奖励一次）；500人以上的奖励50-100论坛币。
2.凡分享到微博，您的粉丝在100人以下的，视情况奖励10-20论坛币；100-500人的，奖励20-50论坛币（每微博限奖励一次）；500人以上的奖励50-100论坛币。
3.凡分享到其他网站（包括校内网等），帖子保留一天以上的（24小时后截图），奖励50论坛币