摘 要<br>
本书主要讲述了三大重要变革,处理数据理念的思维变革,挖掘数据价值的商业变革以及面对数据风险的管理变革。<br>
引 言<br>
大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发……<br>
第一部分《大数据时代》相关简介<br>
1.背景简介<br>
《大数据时代》这本书主要描述的是大数据时代的来临与人们生活、工作与思维各方面所遇到的重大变革,我们需要对这些先进的理念进行学习,并且学以致用,应用到我们日常的生活中去。文中清晰的阐述了大数据的基本概念和特点,并列出明确的观点。不管对于产业实践者,还是对于政府和公众机构,都非常具有价值。<br>
2.作者简介<br>
本书作者维克托·迈尔-舍恩伯格,1966年出生于奥地利,著名数据科学家,他是十余年潜心研究数据科学的技术权威,他是最早洞见大数据时代发展趋势的数据科学家之一,也是最受人尊敬的权威发言人之一。他曾先后任教于世界最著名的几大互联网研究学府。现任牛津大学网络学院互联网治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人,哈佛务研究中心网络监管项目负责人;他是多家国际知名出版机构的特约评论员。<br>
他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业;1991年跻身奥地利软件企业家前5名之列,2000年 被评为奥地利萨尔斯堡州的年度人物。他也是众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究,是欧盟专家之一,同时他也是最早洞见大数据时代趋势的数据科学家之一,他所著《大数据时代》一书是开国外大数据系统研究的先河之作。<br>
3.本书观点<br>
文中提出的一个观点是,预测是大数据的核心。其实从过去的时代人们就利用掌握的数据进行各种分析,从而对经济等各方面进行预测、矫正。只是进入了大数据时代人们掌握的数据爆炸性的速度在增长,从而数据的存储和分析数据分方法成了释放大数据能量的关键。<br>
作者同时也指出随着数据使用的越来越多,其得出的结果并一定能越来越精确,毕竟数据不能保证百分之百的正确,特别是大数据时代各种结构化与非结构化类型的数据聚集在一起难免导致结果的不太精确。大数据时代要求我们重新审视精确性的优劣。<br>
第二部分大数据的认识和趋势<br>
1.认识大数据<br>
大数据的核心——预测,而预测之所以成功,是因为其建立在海量数据之上的。<br>
大数据成为许多公司竞争力的来源,未来可能整个行业的结构会发生改变,大数据也将会影响国家竞争力。当制造业已经大幅转向发展中国家,而大家都争相发展创新行业的时候,工业化国家因为掌握了数据以及大数据技术,所以仍然在全球竞争中占据优势,但这个优势很难持续。<br>
2.大数据的发展趋势<br>
大数据时代是信息化社会发展必然趋势,我们只有紧紧跟随时代发展的潮流,在技术上、制度上、价值观念上做出迅速调整并牢牢跟进,才能在接下来新一轮的国际竞争中摆脱受制于人的弱势境地,才能把握发展的方向,冲破与西方国家的差距。对于一个国家如此,对于一个企业亦是如此。在如此快速的到来的大数据时代,我们还有很多知识需要学习,许多思维需要转变,许多技术需要研究。<br>
3.统计与大数据<br>
由于大数据的出现使得统计学更加引人注目,但是目前在我国,人们对统计学的认识还不全面,在许多高校中,财会、金融、国际贸易等专业都很热门,而统计学专业却在萎缩,这与国外有很大不同。在一些发达国家如法国等,统计学是大学里受重视的学科,统计学的发展甚至是衡量某一大学学术水平的标志,而在我国,统计学仍是弱势学科,这个现状也决定了统计学在我国应具有更大的发展空间。统计学专业有着非常显著的特点:它需要学生具有厚重的数理基础,同时也能够培养学生突出的实践能力。这一专业还需要一定的计算机专业知识,这是因为在实际工作中,统计工作往往需要借助各种统计分析软件完成。因此,本专业能够培养跨多学科的复合型综合应用性人才。<br>
著名哲学家H.G.Wells曾说:“就像读和写的能力一样,将来有一天统计的思维方法会成为每个公民的必备能力。”<br>
第三部分大数据时代的变革<br>
一.思维变革<br>
1.更多,不是随机样本,而是全体数据<br>
统计把大数据放在了首位,例如人口普查,考虑到人口普查的复杂性,以及耗时耗费的特点,政府极少普查。但即使不频繁的人口普查依旧进行的很困难。因为数据的变化速度超过了人口普查局统计分析的能力。再例如将频繁的词条与疾病传播期间的数据进行比较,与官方数据相关性高达97%。<br>
统计学家们证明,随机采样分析的精确度随着采样随机性的增加而大幅度提高,但与样本数量的增加关系不大。抽样调查有着很高的精确度。因为当样本数量达到某个值之后,我们从新个体身上得到的信息越来越少,随机抽样分析只是一条捷径,他本身存在很多固有缺陷,结果往往缺乏延展性,所以在宏观领域起作用的方法在微观领域并不适用。<br>
数据化意味着我们要从一切太阳底下的事物中汲取信息,大数据时代犹如开启了一场寻宝游戏,而人们对于数据的看法以及对于由因果关系向相关关系转化时释放出的潜在价值的态度,正是主宰这场游戏的关键。<br>
2.更杂,不是精确性,而是混杂性<br>
本书作者曾说“为了扩大规模,我们接受适量错误的存在。正如技术咨询公司Forrester所认为的,有时得到2加2约等于3.9的结果,也很不错了。当然,数据不可能完全错误,但为了了解大致的发展趋势,我们愿意对精确性做出一些让步。”执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法被利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户。<br>
对“小数据”而言,最基本、最重要的要求就是减少错误,保证质量。因为收集的信息量比较少,所以我们必须确保记录下来的数据尽量精确。无论是确定天体的位置还是观测显微镜下物体的大小,为了使结果更加准确,很多科学家都致力于优化测量的工具。在采样的时候,对精确度的要求就更高更苛刻了,随着理性学科,如数学和统计学逐渐影响到商业领域,商业界更加崇尚这种思想。然而,在不断涌现的新情况里,允许不精确的出现已经成为一个新的亮点,而非缺点。因为放松了容错的标准,人们掌握的数据也多了起来,还可以利用这些数据做更多新的事情。这样就不是大量数据优于少量数据那么简单了,而是大量数据创造了更好的结果。传统的样本分析师们很难容忍错误数据的存在,因为他们一生都在研究如何防止和避免错误的出现。在收集样本的时候,统计学家会用一整套的策略来减少错误发生的概率。在结果公布之前,他们也会测试样本是否存在潜在的系统性偏差。<br>
一切的科学实践都是在验证正确的哲学观点,在社会活动和商业领域,可以忽略收集信息和调研步骤,通过大数据快速高效地得到想要的参考结果。<br>
二.商业变革<br>
1.数据化:一切皆可“量化”<br>
计算机的出现带来了数字测量和存储设备,这样就大大提高了数据化的效率。计算机也使得通过数学分析挖掘出数据更大的价值变成了可能。简而言之,数字化带来了数据化,但是数字化无法取代数据化。数字化是把模拟数据变成计算机可读的数据,和数据化有本质上的不同。莱维斯说,“预测给我们知识,而知识赋予我们智慧和洞见。”<br>
2.价值:“取之不尽,用之不竭”的数据创新<br>
我们所处的时代之所以与众不同,是因为数据的收集不再存在固有的局限性。技术已经发展到一定程度,大量信息可以被廉价地捕捉和记录。数据经常会得到被动地收集,人们无须投入太多精力甚至不需要认识这些数据。而且,由于存储成本的大幅下降,保存数据比丢弃数据更加容易。这使得以较低成本获得更多数据的可能性比以往任何时候都大。随着大数据的出现,数据的总和比部分更有价值。当我们将多个数据集的总和重组在一起时,重组总和本身的价值也比单个总和更大。<br>
3.角色定位<br>
大数据最值钱的部分就是它自身,所以最先考虑数据拥有者才是明智的。他们可能不是第一手收集数据的人,但是他们能接触到数据、有权使用数据或者将数据授权给渴望挖掘数据价值的人。翻译的质量就会变好一点。行业专家是不会真正消亡的,只是他们的主导地位会发生改变。未来,大数据人才会与他们一样身居高位,就像趾高气扬的因果关系必须与卑微的相关关系分享它的光芒一样。<br>
三.管理变革<br>
1.风险<br>
进行大
数据分析的人可以轻松地看到大数据的价值潜力,这极大地刺激着他们进一步采集、存储、循环利用我们个人数据的野心。随着存储成本继续暴跌而分析工具越来越先进,采集和存储数据的数量和规模将爆发式地增长。将面对一个新的挑战,即运用大数据预测来判断和惩罚人类的潜在行为。这是对公平公正以及自由意志的一种亵渎,同时也轻视了决策过程中深思熟虑的重要性。除了对隐私和倾向的不良影响,大数据还有一个弊端。我们冒险把罪犯的定罪权放在了数据手中,借以表达我们对数据和我们的分析结果的崇尚,但是这实际上是一种滥用。应用得当,大数据会是我们合理决策过程中的有力武器;倘若运用不当,它就可能会变成权贵用来镇压民众的工具,轻则伤害顾客和员工的利益,重则损害公民的人身安全。我们所冒的风险想象中还要大。<br>
大数据为监测我们的生活提供了便利,同时也让保护隐私的法律手段失去了应有的效力。面对大数据,保护隐私的核心技术不再适用了。同样,通过大数据预测,对我们的未来想法而非实际行为采取惩罚措施,也让我们惶恐不安,因为这否认了自由意志并伤害了人类尊严。同时,那些尝到大数据益处的人,可能会把大数据运用到它不适用的领域,而且可能会过分膨胀对大数据分析结果的信赖。随着大数据预测的改进,我们会越来越想从大数据中掘金,最终导致一种盲目崇拜,毕竟它是如此的无所不能。<br>
2.掌控<br>
大数据时代,对原有规范的修修补补已经满足不了需要,也不足以抑制大数据带来的风险——我们需要全新的制度规范,而不是修改原有规范的适用范围。想要保护个人隐私就需要个人数据处理器对其政策和行为承担更多的责任。同时,我们必须重新定义公正的概念,以确保人类的行为自由(也相应地为这些行为承担责任)。新机构和专家们需要设计复杂的程序对大数据进行解读,挖掘出其潜在的价值和结论。他们也要向那些可能受害于大数据结论的人——因之被剥夺了工作、接受医疗或贷款权利的人,提供支持。对已有的规范进行修修补补已经不够了,我们需要推陈出新。<br>
第四部分大数据与日常生活<br>
当今的数据量正以一个惊人速度增长,世界正在高速数字化。大数据在人们毫无察觉的情况下已经悄悄住进了人们的生活,大数据技术离你我都并不遥远,它已经来到我们身边,渗透进我们的日常生活中,通过大数据技术,人们能够在医院之外得悉自己的健康情况;地图的基础应用,优化了城市交通状况。但是与此同时,也存在着一定的弊端,大数据在我们生活中充当着一些别的角色。由于某些网站为了盈利,就会向你推荐一些在当时的你可能并不了解的东西,让你误以为“网站在为你着想”。但是网站对于你的数据进行了分析和挖掘。从而得到一些结论。大数据的分析并不是仅仅只你一人,而是许多许多想你一样的各种各样的人。所以会让人有种数据被窃取的感觉。总而言之,技术可以带来进步,让我们的生活有更多便利,但是技术的不良运用也会带来一定的损失和负面。<br>
第五部分结语<br>
大数据改造了我们的生活,它能优化、提高、高效化并最终捕捉住利益,那直觉、信仰、不确定性和创意还能扮演什么角色呢?就算大数据无法教会我们所有事情,只要能帮助我们表现更佳、更富效率、取得进步,就算缺乏深入理解也是很有用的了。一贯如是地坚持下去才有效力。即使你不明白为什么付出的努力得不到回报,但相比不努力,你要明白你已经在改善事情的结局了。大数据不会即刻提效率,但经受住时间的考验后,它将生出智慧的结晶。<br>
我们身处这个数据“大爆炸”时代,大数据的广泛运用带来了很多的方便同时也有很多弊病,正如科学家们所说,事物都具有两面性,我们应当用好大数据对我们有利的一面,以免大数据给我们社会的发展带来不利的因素。既是挑战也是机遇,虽然其有利有弊,但我们无法阻止时代的步伐,我们唯一能做到的就是利用其作用,方便我们的生活,并且保护好自身的利益,多一个心眼,不给不法分子可乘之机。<br>
在这个信息爆炸的时代,大数据给人类社会的方方面面带来了巨大的变革,这是社会发展的潮流,不可逆转,我们只有顺应这种潮流,把握住大数据时代变革的思想,才能在时代潮流中成为佼佼者,在思维上思路上略高一筹,才能在行动中占得先机!<br>