数据分析师点拨：大数据分析不能告诉你什么？

数据分析师大火的时代，各个企业都争先恐后地进行大数据分析的跟风热潮，都渴望在这数据分析的背后寻得更多的发展和商机。确实，数据分析给社会带来的正效益是有目共睹的、也是价值巨大的。精确及时的数据分析的确可以给企业带去很多的发展规划和商业规律，但是大数据分析可不是万能的，我们在知道大数据分析能够带来什么的同时，也要知道大数据分析不能告诉你什么。只要知己知彼，才能做到百战不殆！

咨询师Barry Devlin介绍了一些人们因为统计数据分析不当而误解风险的案例，同时阐述了为什么业务决策不能完全由数据驱动。他提醒企业要清醒认识数据科学家的阴谋，同时接受普通业务人员的天真想法。

大数据分析的拥护者竭尽全力地鼓吹“数据驱动”，明智的人应该谨慎对待，并明确两个问题。一，业务人员在制定特定决策时是否真正理解相关数据，是否曾经以实用且可行的方式向管理层展示了这些数据?二，是否所有决策都有必要在收集“所有数据”之后自动完成?

在《认清风险：如何作出好决策》(Risk Savvy: How to Make Good Decisions)中，德国柏林Max Planck人类发展研究所管理主管Gerd Gigerenzer阐述了公共环境中风险测量与决策过程的问题，他的观点同样适用于商业领域。

首先，我们看看Gigerenzer举的一些例子。它们说明了大多数人所获得的统计数据只是很小一部分，而且我们很容易因为数据的不正确性或明显误用而产生错误结论。

在911事件的一年时间里，成千上万的美国人放弃乘坐飞机，转而选择开车长途远行，因为他们害怕遇到相同的袭击。高速公路行驶距离因此增长了5%，而道路交通意外死亡人数在一年里逐月上升，已经超过了过去五年的平均水平。此外，粗略计算有约1,600人丧身交通意外，而航空旅客及空乘人员的伤亡人数只有256人，其中还包括911事件的伤亡数字。

由于对当时伤亡事件产生了主观反应，美国公众完全忽视了有效的统计风险测量结果，即飞机的安全系数要远远高于汽车。

错误的风险测量方法

1995年，英国医药安全委员会发布了一系列研究结果，服用第三代口服避孕药的人患血栓症的概率是普通人的两倍。这个研究结果很快传遍全世界。医生与药剂师向妇女传达了由预期结论得出的警告信息：意外怀孕与妊辰激增。接下来的一年时间里，仅仅在英格兰和威尔士流产案例预计增加了13,000人次。

尽管这些专家都经过科学和医学培训，但是他们严重忽视或忽略一个结果：绝对风险数量增加一倍才只有7000人次，也远远不及由怀孕与流产导致的血栓症风险。因此，相同的数据有两种描述方式：一是风险率相对增长100%，二是绝对增长数量为7,000。前者很容易占据新闻头条和引起公众跟风。而后者则不会造成太大影响，但是可能会避免很多痛苦。

Gigerenzer的书还有很多这样的故事，如果你有兴趣了解人们解读数字数据的方式及使用(或不使用)这些数字作为决策依据的方式，那么这本书很值得你阅读。事实是，即使经过科学训练，只有极少数人能够正确理解这个领域。因此，我们缺少区分不同风险表达方式及不确定性的能力，也缺乏一些帮助理解所得到结果的培训。对于世界上的一些概念，我们很容易陷入偏见或先入为主的错误理解方式。

当我们从“少量数据”世界(掌握简单算术就足够应付)过渡到充斥大数据统计的世界时，数据误解产生的危害也出现指数增长。无论自助服务商业智能有多厉害，它们也无法轻松扩展变成自助服务商业分析。业务用户(及许多数据科学家)都需要在理解和展示统计数据方面加强自身的能力。

最大的决策动因：潜意识行为

除了技能问题，还有一个更根本的问题，而911事件关于航空旅行方式的态度改变就是一个最好的例子。我将这种现象称为商业不智能(Business unIntelligence)，并且在我的同名图书中提出了这个术语。按照西方商业思维方式，智慧几乎可以完全等同于合理和理智思想，特别是在决策过程中。这忽略了大脑的现实情况及其思维过程，其中有90%的想法是无意识发生的。决策很少是由数据驱动的，特别是那些会对个人产生影响或需要快速响应的决策。

心理学家及诺贝尔经济学奖得主Daniel Kahneman在他写的书《快思考与慢思考》中阐述了这个话题，但是他落入唯理性主义者的圈套，后者认为无意识思维源于有意识思维。这样就得出了一些结论：我们很容易作出一些严重错误且非常容易受外界干扰的决策，而且总是在有意识地保护自己。或者更坏的情况是，一些专制ZF可能且总是会“迫使”我们作出一些有利于自身的决策。

当然，自我意识也很重要。然而，如果认为我们新进化的小小前额可以或应该完全超越大多数大脑的长期进化但潜意识发生的感知，那么这是极其短视的。这种感知对于现实世界的决策过程有很多影响——形式包括内在感受、直觉、有根据的揣测和探索，而它们会忽略得到的大部分数据。如果只关注于收集和堆砌不断增多的数据，那么我们就有迷失的风险。

在不确定的世界里，有一些事件是无法预测的，基于数据分析出来的概率只能让人得到一个决策。2008年金融领域发生的事件表明，过份依赖于预测风险模型是灾难性的，因为有一些东西不在模型参数的覆盖范围之内。Gigerenzer指出：“问题在于不正确的风险测量：这些方法错误地假定不确定的世界里有已知的风险。因为这些计算为一个不确定的风险产生了精确的数字，因此它们会产生一个虚假的确定性。”

在决策过程中完全依赖数据驱动或分析工具本身具有内在的危险性。人类决策者所带来的价值是他能够看到环境和理解业务环境。这些洞察力并不能完全由参数来描述。当然，它们也来源于一些信息：思想认识中的旧记忆或新思维模式。但是，它们大多数都基于计算机科学远远无法理解的思维处理模型，计算机还完全无法模拟出思维。这是一个宝贵的东西。