目 录
目 录 2
摘 要 1
前 言 2
第一章 3
1.1 作者简介 3
1.2 书目背景简介 3
第二章 6
2.1 本书主要观点 6
2.2 本书主要特点 7
第三章 9
3.1 什么是数据 9
3.2 什么是大数据 10
3.3 大数据的产生 11
3.4 大数据未来的发展趋势……………………………………………………….12
3.5 大数据对人类产生的影响…………………………………………………...13
第四章 12
4.1 认识 13
4.2 对自己的影响 13
4.3 所做出的改变 14
结 论 31
第一章
1.1作者简介和书目背景简介
徐子沛,原阿里巴巴集团副总裁,转业军人,曾赴美留学过,出版过《大数据》和《数据之巅》两本书。徐子沛的经历可谓传奇,当别人转业后都忙着公务员考试、找单位;他却努力学习,选择出国留学,学成归来加入了阿里巴巴当副总裁。后来,他又离开了阿里,选择自己创业。徐子沛的从军经历,他是这样评价自己的军旅生活:“那是一段激情燃烧的岁月,如同一杯水,没有先前的预热,怎么能达到沸腾?无论走到哪里,我都不会忘记在部队服役的日子!”
1996年7月
从华中科技大学计算机系的涂子沛入伍到广东边防总队,成为江门边检站成为一名检查员。凭着过硬的电脑技术,他借调到技术处参与开发边防出入境查验系统。之后,在涂子沛的提议下,广东成立反偷渡信息中心,帮助广东边防反偷渡工作建立了数据库。因为工作突出,他8年时间,2次荣立个人三等功。
2004年
徐子沛是正营职干部,是全国边防有名的专业技术人才,他提副团的事已经是板上钉子的事了。这时,他却选择了转业。
那年,他参加转业干部公务员考试,成绩名列全市第一,他被分到广州外经贸局规划财务处工作,被任命为副科长。半年后,他选择出国留学!2006年,徐子沛选择到美国的卡内基梅隆大学留学,因为这里的计算机技术在世界上数一数二。
两年半,他取得公共管理和信息科学两个硕士学位。随后,在美国待了9年,一直在几家知名软件公司从事数据研究。期间,他曾到阿里作过两次演讲,并认识了马云。
随后,马云向他伸出橄榄枝,2015年被任命为阿里的五个副总裁之一。2017年,他又离开了阿里,选择自己创业。
徐子沛一直留着平头,腰杆一直挺得笔直,这是部队留个他最明显的印记。在部队,一张床加被子就可以栖身;海上执勤,经常在海上漂泊半个月,从来没有怨言……这些苦他都吃过了,他觉得没有什么事情比这能更难的了。于是,他选择从部队离开,选择在自己的人生路上再进行一次发起冲锋。
徐子沛说:“现代社会很少人会终生只从事一个职业,特别是军人,会面临多次就业。对人生要有规划,要有广阔的视野,一生不变的职业值得尊重,但可能波澜不惊、未必精彩。当有机会体验另一个生活,就要勇敢去挑战。无论是在部队还是在地方,要时刻蓄积挑战新世界的能力,时时准备着。”
时刻准备着,为党和人民牺牲一切。这是中国共产党党员誓词的一句话。转业军人,也要时刻准备着,为面对新生活积蓄挑战新世界的能力。部队,只会是人生的一部分,很少人能在部队干满二十八年退休。这就需要我们在部队里积蓄能量,不要像温水里的青蛙,泡久了,忘记这么跳出这个温暖的大家庭!
现在还在部队的你,不要以为二十多岁、三是多岁离开部队后,自己就会一事无成,背上部队交给你的坚韧和勇敢,再为自己的人生发起一次正面冲锋吧!狭路相逢勇者胜。
第二章
主要观点和特点
在徐子沛老师所写的大数据这本书上的首页我看到了这样一句话“一个真正得信息社会,首先是公民社会。”这是徐子沛老师的题记。之后介绍了薛华成[中国管理信息系统的主要开创者、澳门科技大学行政与管理学院名誉院长],施伯乐「复旦大学计算机研究所所长、上海国际数据库研究中心主任」,赵嘉敏「东西网总裁、泽言网创始人之一」,董洁林「苏大学企业创新和发展研究中心主任、教授」,汪小帆「上海交大电子信息与电气工程学院教授」,张晖「卡内基梅隆大学计算机系终身教授」。这本书一共分为序篇,上篇,中篇,下篇还有外篇。上篇主要介绍的美国政府如何利用大数据、人民对于大数据的开放经历了哪些斗争历程:美国的现在就是我们的未来,这也和老马的DT策略吻合。中下篇是关于如何通过大数据来监控、预测、调整优化人类的行为,主要是以美国政府如何开放、利用数据为例。
后面引用麦肯锡关于大数据在运营场景下的应用比较有意思。
这本书主要写的是数据驱动下的美国政府发展史,从政府信息公开到白宫对外开放,从911恐怖袭击到美国矿难,从公民身份证议案到数据质量改革,内容跨度很广,涉及的领域很多,让人深刻认识到数据收集与分析对美国政府、人民的影响之大,从而进行推广和预测,可见大数据在现在和未来,无论对于哪个国家哪个领域,都将起到至关重要的作用。
而在序言部分介绍了这本书大致这本书的内容,强调今天是一个大量数据公开于大众的时代。自从资讯革命以来,资讯工具、硬件、软件,平行发展、与时俱进。数据在我们生活之中,
日常接触,已是处处可见的现象。收集数据,当然是靠电脑的快速分类和记录,然而更重的是搜索引擎的进步,与网络之间网际的交流。到今天,一个一个网,不但可以串连在一起,互相沟通,而且"云端" (云计算)的设计,可以将每一个地区个别数据,储成一个大的数据库,有助于我们更迅速广泛地搜索。
这本书中首先提到了奥巴马政府倡导信息公开透明,在上任之初便大力推行信息的公开化和透明化。信息之与民主,就如货币之于经济。受美国国家文化影响,美国人民对于信息的知情权的重视程度几近对于枪支自由的执着。
在2010年的<<规划数字化的未来:美国总统科学技术顾问委员会给总统和国会的报告》中提到:如何收集、管理和分析数据正在日渐成为我们网络信息技术研究的重中之重。以机器学习,数据挖掘为基础的高级
数据分析技术,将促进
从数据到知识的转化、从知识到行动的跨越。联邦政府的每一个机构和部门,都需要制定一个应对"大数据"(Big Data)的战略。
对于具体如何处理数据方面而言,必然离不开两个方面,一个是数据本身,另一个则是处理这些纷杂数据的程序。程序和数据的关系,就好像发动机和燃料,所有的程序,都是靠数据驱动的;数据之于程序,又好比血液之于人体,一旦血液停止流动,人就失去了生命,代码也将停止运行。数据的生命力,甚至比程序更持久。程序可以不停地升级、换代甚至退出使用,但保存数据的数据库却会继续存在,其价值很可能与日俱增、历久弥新。
书中提到一个例子:劳工统计局在1997年开展的青少年纵向调查。它眼踪调查的对象虽然是青少年本身,但受访人、问卷人却可以是家长、老师、雇主等等和该青少年密切相关的个人和群体,每次问卷都有数十个问题,需要受访人1小时左右才能完成。因为付出了时间,受访人在完成问卷之后,能获得8到20美元不等的报酬。同样的问题,也可能在不同的年份、在相同受访人员的问卷中重复出现,以测试受访人态度的变化。
第三章
什么是数据和大数据?
现今的社会是一个信息时代,更是一个离不开数据的时代,我认为的数据就是数字。但事实并不是这样数据不单单只有文字,也可以图像文字或者声音等。数据可以用于科学研究、设计、查证等。比较全面的解析是:数据是关于自然、社会现象和科学试验的定量或定性的记录,是科学研究最重要的基础;研究数据就是对数据进行采集、分类、录入、储存、统计分析,统计检验等一系列活动的统称。什么是大数据呢!在数据面前加了一个“大”字,按字面的意思理解,无非是大的数据,庞大的信息量更代表的是强大的数据流。现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。比如在徐子沛老师的书里介绍了各种各样的数据图表,例如2008年2009年致命交通事故的按月对比,2009年致命交通事故按星期和时间对比,2009年致命交通事故按时间段对比,2009年致命交通事故按天气和路况对比还有死亡人的年龄结构和死亡人的类别比。这些一串串统计出的数据清楚了反应了这年来的交通事故的情况。
我上网查找了一些关于大数据的资料其中包括大数据的特征:
①数据量庞大:数据量大规模增长,而且各种意想不到的来源都能产生数据,手机、传感器、智能家电、企业生产、实时交通、天气……
②数据多样性:原来最常见的是表格结构数据,现在数字、文本、图片、视频……
③数据快速化:高速描述的是数据被创建和移动的速度,我们深有感知。
④数据价值化:大量表面不相关的数据,浪里淘沙却可能弥足珍贵。
大数据引发不同以往的思维方式。
其次我们在高中的时候学过抽样调查、分层抽样、系统抽样…等等,以期用最少的数据得到尽可能多的有效信息。抽样成功完全依赖于绝对随机性,一旦采样过程中存在意见偏差,分析结果就会相去甚远。抽样只能得出事先设计好的问题的结果,远不能回答你突然意识到的问题,它仅是一条捷径,也只是一条捷径。但是大数据就不同了,大数据具有高容量、多样化,高速、价值这几大特点。
大数据未来的发展趋势和对人类产生的影响
如今,大数据的发展趋势正在迅速转变,但专家预计
机器学习、预测分析、物联网、边缘计算将在未来几年对大数据项目产生重大影响。
大数据已不再只是一个流行术语。调研机构Forrester公司的研究人员发现,在2016年,将近40%的企业正在实施和扩展大数据技术的应用,另外30%的企业计划在未来一年内采用大数据。同样,来自NewVantage Partners的“2016年大数据执行调查”发现,62.5%的企业现在至少有一个大数据项目投入使用,只有5.4%的企业没有计划或没有实施大数据项目。
研究人员表示,大数据技术的采用不会很快放缓。根据调研机构IDC公司预测,大数据和业务分析市场将从2018年的1301亿美元增长到2020年的2030多亿美元。
“数据的可用性、新一代技术以及向数据驱动型决策的文化转型将继续推动企业对大数据和分析技术和服务的需求。”IDC公司分析和信息管理集团副总裁Dan Vesset说,“2015年的全球大数据市场收入达到1220亿美元,2016年的市场收入增长11.3%,预计到2020年大数据市场收入的复合年均增长率将达到11.7%。”
虽然大数据市场将会增长,但企业对如何使用他们的大数据却不那么清楚。新的大数据技术正在进入市场,而一些老旧技术的使用也在不断增长。
趋势一:数据的市场化
当大数据进入人们的生活,所有的数据必定成为资源,而掌握了数据的人就会拥有较好的市场。日本有学者提出“生活者”的概念,意思是,随着社会化媒体的出现,消费者不再是单方面接受信息的买方,而是将所有与生活有关的信息都放在社会化媒体上的生命体。这时,不光是产品信息,消费者的兴趣、年龄、收入、产品反馈等都会被列入商家批量生产产品所要考虑的要素之列。而面对几千、几万计的消费者,普通信息统计已经不能满足需求,这时,就需要专门的大数据处理公司,或者是公司单独设立用户数据处理中心,使用大数据技术,更加精准地把握用户需求,这将会给企业带来意想不到的回报。
趋势二:与云计算一起获得双赢
网络用户呈现出爆炸式增长,传统的信息运算技术显然已经不能满足现在庞大的用户基数了,所以在这时,拥有强大计算能力的云计算技术成为大数据技术的好伙伴。本来需要很长时间才能处理的数据,在云计算的加入之下,很快就能处理好,大大提升企业、政府和社会组织的效率。除了云计算之外,物联网等新兴的技术为大数据提供数据来源,人们可选择的数据样本越来越丰富,大数据所能得出的结论可信程度将会日益提高。
趋势三:数据处于泄露的巅峰
大数据从哪儿来的呢?自然是从不同用户中抽取而来的。它为社会运转、企业盈利带来好处,但与此同时,很多问题也出现了。用户的信息被计算机一股脑儿的抓取,在这其中,人们的隐私也暴露了。随之而来的,是伦理上、法律上对大数据的争议。很多相关争论就此展开。在运用大数据时,人们不得不更加谨慎。
趋势四:数据管理和质量成为核心竞争力
当数据市场化之后,企业、组织和个人已经逐渐认识到大数据的重要性。为了能吸引用户,个性化推荐技术,根据用户信息制定的营销方案,已经为人们所青睐。但是,和技术运用相对应的,是技术的处理方式。在使用大数据时,要把握什么样的信息是重要的,什么样的是次要的。信息的管理者也需要建立数据库,利用好已经搜集到的数据,以便随时应用,在这个信息发达、创意频出的时代占领先机。
第四章
读了徐子沛老师这本书之后,我懂得了什么是大数据,大数据的建立,是需要不断的对数据进行数据采集,积累到一定量才可以做统计分析,这样得到的统计分析才有价值。书中引用了《笑傲江湖》岳不群的一段话——岳不群叹了口气,缓缓地道:'三十多年前,咱们气宗是少数,剑宗中的师伯、师叔占了大多数。再者,剑宗功夫易于速成,见效极快。大家都练十年,定是剑宗占上风;各练二十年,那便是各擅胜场,难分上下;要到二十年之后,练气宗功夫的才渐渐地越来越强;到得三十年时,练剑宗功夫的便再也不能望气宗之项背了。然而要到二十余年之后,才真正分出高下,这二十余年中双方争斗之烈,可想而知。大数据的统计更是一个艰辛的过程,我们要有一个坚持不懈的态度,持之以恒的心态,才可以把事情做好。
大数据对人类的发展和社会的进步解决了很大的问题,这样就可以从各个方面统计数据可以大面积的分析和了解人们的生活。大数据是加速时代的进步的润滑剂,通过数据分析可以发现看不见的问题,新的创意产品和新兴服务就应运而生,先祖智慧易经八卦,八字命盘就是典型的大数据分析案例,时至今日还为后人排解疑难杂症。目前大部分的数据源都是来自APP手机,数据公司的免费APP功能是和使用者交易数据讯息的一种方式,如果只是使用状态与消费习惯的数据,不牵涉个人身份文件与金融交易密码讯息,应该都还是在安全范围内。
我现在是一名大学生,我的专业就是统计学,我要学好我的专业为将来的大数据时代做出更大的贡献。