【独家发布】【朝花夕拾-好文共赏】-大数据来了，你准备好了吗？

1057

收藏 2016-09-13

大数据技术进展与发展趋势 信息科技经过60余年的发展，已经渗透到国家治理、经济运行的方方面面，政治、经济中很大一部分的活动都与数据的创造、采集、传输和使用相关。随着网络应用日益深化，大数据应用的影响日益扩大。根据IDC（国际数据公司）的监测统计，2011年全球数据总量已经达到1.8 ZB，而这个数值还在以每2 年翻一番的速度增长，预计到2020年，全球将总共拥有35 ZB的数据量，比2011年增长了近20倍。换句话说，近2年产生的数据总量相当于人类有史以来所有数据量的总和[1,2]。在这个大背景下，从公司战略到产业生态，从学术研究到生产实践，从城镇管理乃至国家治理，都将发生本质的变化。国家竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用数据的能力。
大数据时代的2个特点非常有利于中国信息产业跨越式发展[3]。第一，大数据技术以开源为主，迄今为止，尚未形成绝对技术垄断，即便是IBM、甲骨文等行业巨擘，也同样是集成了开源技术和该公司已有产品而已。开源技术对任何一个国家都是开放的，中国公司同样可以分享开源的蛋糕，但是需要以更加开放的心态、更加开明的思想正确地对待开源社区。第二，中国的人口和经济规模决定了中国的数据资产规模冠于全球。这在客观上为大数据技术的发展提供了演练场，也亟待政府、学术界、产业界、资本市场四方通力合作，在确保国家数据安全的前提下，最大程度地开放数据资产，促进数据关联应用，释放大数据的巨大价值。大数据超越信息技术，使人们重新界定国家竞争的主战场，重新审视政府治理水平，重新认识科学研究的新范式，重新审视产业变迁的驱动因素，重新理解投资的决策依据，重新思考公司的战略和组织结构。
1 国内外大数据发展动态
1.1 国际大数据战略决策
纵观世界各国的大数据策略，存在3个共同点：一是推动大数据全产业链的应用；二是数据开放与信息安全并重；三是政府与社会力量共同推动大数据应用[4]。本文以美国、英国、日本、德国4个国家为例具体说明。
1）美国。2009年，美国政府推出公共服务平台（data.gov），全面开放了40万联邦政府原始数据和地理数据。
2012年3月，美国白宫科技政策办公室发布《大数据研究和发展计划》，成立“大数据高级指导小组”。通过对海量数据分析萃取信息，提升对社会经济发展的预测能力。美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局6个联邦部门和机构宣布投资2亿美元，共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性，并形成合力；加强对信息技术研发投入以推动超级计算和互联网的发展。2013 年，美国发布《政府信息公开和机器可读行政命令》，要求公开教育、健康等七大关键领域数据，并对各政府机构数据开放时间提出了明确要求。2013年11月，美国信息技术与创新基金会发布《支持数据驱动型创新的技术与政策》指出，政府不仅要大力培养所需技能劳动力和推动数据相关技术研发，还要制定推动数据共享的法律框架，并提高公众对数据共享重大意义的认识。2014年5月，美国发布《大数据：把握机遇，守护价值》白皮书，对美国大数据应用与管理的现状，政策框架和改进建议进行集中阐述。2016年4月，麻省理工学院推出了“数据美国”在线大数据可视化工具，可以实时分析展示美国政府公开数据库（Open Data）。
2）英国。2011年11月，英国政府发布了对公开数据进行研究的战略决策，建立了有“英国数据银行”之称的data.gov.uk网站，希望通过完全公布政府数据，进一步支持和开发大数据技术在科技、商业、农业等领域的发展。2012年5月，英国政府注资10万英镑，支持建立了世界上首个开放数据研究所ODI（Open Data Institute）。ODI研究所将为那些对公众有益的商业企业活动提供数据背景支持，不但释放了新的商业潜力，还推动了经济发展以及个人收入增长的新形式。2013 年5 月，英国政府和李嘉诚基金会联合投资9000万英镑，在牛津大学成立全球首个综合运用大数据技术的医药卫生科研中心。中心将通过搜集、存储和分析大量生物医疗数据，与业界共同界定新药物研发方向，处理新药研发过程中的瓶颈，并为发现新的治疗手段提供线索。2013 年8月，英国政府发布《英国农业技术战略》。该战略指出，英国今后对农业技术的投资将集中在大数据上，目标是将英国的农业科技商业化。2014年，英国政府投入7300万英镑进行大数据技术的开发，包括在55个政府数据分析项目中展开大数据技术的应用；以高等学府为依托投资兴办大数据研究中心，如图灵大数据研究院。2015年，英国政府承诺将开放有关交通运输、天气和健康方面的核心公共数据库。
3）日本。2012年6月，日本IT战略本部发布电子政务开放数据战略草案，迈出了政府数据公开的关键一步。
2012年7月，日本总务省ICT基本战略委员会发布了《面向2020年的ICT综合战略》，提出“活跃在ICT领域的日本”的目标，将重点关注大数据应用所需的社会化媒体等智能技术开发、传统产业IT创新、新医疗技术开发、缓解交通拥堵等公共领域应用等。2013年6月，日本正式公布新IT战略-创建最尖端IT国家宣言。全面阐述2013—2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为具有世界最高水准的广泛运用信息产业技术的社会。为此，日本政府推出数据分类网站（data.go.jp），目的是提供不同政府部门和机构的数据供使用，向数据提供者和数据使用者开放数据。数据涉及各类白皮书、地理空间信息、人群运动信息、预算、年终财务和流程数据等。2013年7月，日本三菱综合研究所牵头成立了“开放数据流通推进联盟”，旨在由产官学联合，促进日本公共数据的开放应用。2014年8月，日本内阁府决定在每月公布的月度经济报告中采用互联网上累积的“大数据”作为新的经济判断指标。内阁府将根据网络用户对产品和服务的搜索情况和推特网站上所发帖子来分析实时消费动向。日本防卫省也将从2015年开始正式研讨将“大数据”运用于海外局势的分析。这一举措作为自卫队海外活动扩大背景下的新方案，旨在强化情报收集能力。
4）德国。2010年，德国制定“数字德国2015的ICT 战略”，在能源、交通、保健、教育、休闲、旅游和管理等传统行业采用现代ICT 技术实现智能网络化。2013年4月，德国政府提出了“工业4.0”的概念。该项目德国联邦政府投入2亿欧元，由德国联邦教研部与联邦经济技术部联手资助，在德国工程院、弗劳恩霍夫协会、西门子公司等德国学术界和产业界的建议和推动下形成，并已上升为国家级战略。德国IT行业协会BITKOM 于2014年初发表报告称，大数据业务在德国发展迅速，到2016年有望达到136亿欧元。2014年8月20日，德国联邦政府内阁通过了由德国联邦经济和能源部、内政部、交通与数字基础设施建设部联合推出的《2014—2017 年数字议程》，提出在变革中推动“网络普及”“网络安全”“数字经济发展”3个重要进程，希望以此打造具有国际竞争力的“数字强国”。
由此可见，大数据超越信息技术、使人们重新界定国家竞争的主战场，重新审视政府治理水平，重新认识科学研究的新范式，重新审视产业变迁的驱动因素，重新理解投资的决策依据，重新思考公司的战略和组织结构。
1.2 国际大数据产业变革
2013年6月，美国中央情报局前雇员斯诺登揭开了“数据战争”的冰山一角。美国的“棱镜计划”事实上把所有国家、个人都纳在美国国家安全局（NSA）的监控之下。参与棱镜计划的公司包括谷歌、雅虎、Facebook、微软、苹果、思科、Oracle、IBM 等科技巨头。由此可见，在大数据时代，IT产业的强大已经成为直接决定一个大国是否成为强国的最为关键的因素之一。
产业需要变革，行业需要互通互融。所谓“大数据+”，就是将大数据思维嫁接到不同的产业中，推动大数据在各行各业落地。大数据不仅只关系到IT行业，而且众多行业龙头公司都已经意识到了大数据新思维的巨大冲击。互联网、金融、电信、医疗、政府等是大数据运营的重点领域。而大多数领域的大数据发展应用仍处在初级阶段，在大数据应用的实践过程中也遇到了数据资产不明、应用需求不定、平台建设、技术路线、安全隐私问题等方面的挑战，但是大数据应用在各领域还是做出了一些有益的探索，并取得了一定的成绩。
在电信行业，一些发达国家电信运营商对大数据的利用，一方面提升服务质量，改善内部管理，包括客户维系、精准营销和网络运营与管理，代表企业分别为法国电信、英国O2、NTT DoCoMo和沃达丰。法国电信开展针对用户消费的大数据分析评估，借助大数据改善服务水平，提升用户体验；英国O2在英国推出了免费WiFi 服务，以积累更多的用户，从而收集到更多的用户数据，用在精准的媒体广告和营销服务方面；NTT DoCoMo通过制作精细化表格，收集用户详细信息，大大加强了CRM系统和知识库，准确定位目标客户，提高了业务办理的成功性；沃达丰爱尔兰公司的Tellabs“洞察力分析”服务是将通信网络中的大数据转化为可利用的情报。另一方面确立商业模式，创造外部收益，包括直接出售数据获取收益，以及与第三方公司合作项目给运营商创造盈利，代表企业有AT&T、西班牙电信、Dynamic Insights、Verizon、德国电信和沃达丰。AT&T 将与用户相关的数据出售给政府和企业以获利；西班牙电信成立了动态洞察部门；DynamicInsights 开展大数据业务，为客户提供数据分析打包服务，与市场研究机构GFK进行合作，在英国、巴西推出了首款产品名为智慧足迹（Smart Steps）；Verizon成立了精准营销部门PrecisionMarketing Division，提供了精准营销洞察、精准营销、移动商务等服务，包括联合第三方机构对其用户群进行大数据分析，再将有价值的信息提供给政府或企业获取额外价值，数据业务的盈利在其整个业务中占比非常高；德国电信和沃达丰主要尝试通过开放API 向数据挖掘公司等合作方提供部分用户匿名地理位置数据，以掌握人群出行规律，有效地与一些LBS应用服务对接。
在连锁零售业中，英国最大的连锁超市特易购（TESCO）已经开始运用大数据技术采集并分析其客户行为信息数据集。特易购首先在大数据系统内给每个顾客确定一个编号，然后通过顾客的刷卡消费、填写调查问卷、打客服电话等行为采集他们的相关数据，再用计算机系统建立特定模型，对每个顾客的海量数据进行分析，得出特定顾客的消费习惯、近期可能的消费需求等结论，以此来制定有针对性的促销计划并调整商品价格。这种“有的放矢”的营销和定价模式为特易购提供了更加高效的盈利方法。
在交通运输方面，美国Inrix 公司和新泽西州运输部达成合作伙伴关系。Inrix 公司通过汽车和移动电话GPS 装置上的信号和数据，采集主干道上的车速数据，然后实时向新泽西州运输部警示任意主干道上的路况险情，同时向司机的车载GPS装置或移动电话发送警示提醒司机注意路况险情。
这个项目现已扩展为跨州服务，覆盖范围包括马里兰州和北卡罗来纳州。在农业方面，美国天气保险公司（Climate Corporation）可以为美国的农民提供天气意外保险，农民朋友可以在电脑上模拟未来可能破坏农业生产的天气，然后选择合适的保险进行投保，这样在未来发生灾害时损失可以降低到最少。该公司通过庞大的传感器网络分析和预测2000 万美国农田的气温、降水、土壤湿度和产量。在知晓高温天的天数以及土壤湿度数据后，建立模型帮助其预判农民需要的天气保险金额以及公司需要支付的保费。
在气候方面，美国纽约州能源研究和发展管理局运用一系列的大数据技术来评估气候变化对纽约州的影响，并为农业、公共卫生、能源和交通运输等领域提供应对气候变化的策略。这一应用也被引入美国疾病控制中心，正与美国其他10个州和城市一起开展“阅读州和城市计划”，共同研究和应对气候变化，而大数据技术是其中一个非常重要的组成部分。
在外包领域，大数据技术也已成为信息技术行业的“下一个大事件”。目前，一些外包行业巨头也开始进军大数据市场，试图瓜分这一块大蛋糕。印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将达到12亿美元，是目前规模的6倍，同时还是全球大数据行业平均增长速度的2倍。
在信息安全行业，FireEye 和Splunk这类国际企业在大数据安全方面发展迅速，他们在大数据安全方面的技术也值得国内企业借鉴。专做DLP产品的Websense 公司，他们基于数据流的分析技术十分有利于大数据的分析、挖掘。
在人与机器的围棋大战中，AlphaGo 击败李世石的事实再次展示了大数据应用产业的巨大潜力。通过大数据掌握消费习惯，摸准产业发展脉络，提供有效供给，已成为当前产业转型升级的方式之一。
综上所述，数据资产可以成为任何产业的最核心竞争力。未来几年，随着数据中心等基础设施建设的落地，大数据市场将进一步向软件和服务端拓展，深度融合多个产业。对大数据的价值挖掘也将进入快速发展期，为不同行业的需求提供差异化的服务。
1.3 中国大数据发展态势
  1.3.1 中国政府促进大数据发展的措施
1.3.2 大数据基础研究列为中国战略研究主题
1.3.3 中国大数据产业强势增长
2 大数据技术进展
2.1 大数据生命周期
2.2 大数据技术生态
2.3 大数据采集与预处理
   2.4 大数据存储与管理
  2.5 大数据计算模式与系统
2.6 大数据分析与可视化
3 大数据技术发展趋势
   3.1 可视化推动大数据平民化
   3.2 多学科融合与数据科学的兴起
   3.3 大数据安全与隐私令人忧虑
大数据带来的安全与隐私问题主要包括以下3个方面：第一，大数据所受到的威胁也就是常说的安全问题，当大数据技术、系统和应用聚集了大量价值时，必然成为被攻击的目标；第二，大数据的过度滥用所带来的问题和副作用，比较典型的就是个人隐私泄露，还包括大数据分析能力带来的商业秘密泄露和国家机密泄露；第三，心智和意识上的安全问题。对大数据的威胁、大数据的副作用、对大数据的极端心智都会阻碍和破坏大数据的发展。建议在大数据相关的研究和开发中，保持一个基础的比例用于相对应的安全研究，而让安全方面产生实质性进步的驱动力可能是对于大数据的攻击和滥用的负面研究。
3.4 新热点融入大数据多样化处理模式
   3.5 深度分析推动大数据智能应用
3.6 开源、测评、大赛催生良性人才与技术生态
   4 结论
大数据技术的兴起正完成对各传统领域的颠覆。全球范围内，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。各国已相继制定实施大数据战略性文件，大力推动大数据发展和应用。从全球大数据发展的趋势来看，大数据产业推动社会生产要素的网络化共享、集约化整合、协作开发和高效利用，改变了传统的生产方式和经济运行机制，可显著提升经济运行水平和效率。中国是数据生产大国。目前，中国互联网、移动互联网用户规模居全球第一，拥有丰富的数据资源和应用市场优势。如果能在大数据管理和分析技术的研发与应用方面取得突破，可持续推动互联网创新企业和创新应用的高速成长。