全部版块 我的主页
论坛 站务区 十一区 新手入门区
1060 0
2016-11-27
大数据的价值
摘  要
随着网络信息化时代的日益普遍,移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域,我们正处在一个数据爆炸性增长的"大数据"时代。大数据在社会经济、政治、文化,人们生活等方面产生深远的影响。大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。


关键词:大数据;改变;发展           


前  言
如今,一个大规模生产,分享和应用数据的时代正在开启。在大思维商业,管理的变革中,大数据正在兴起。
大数据的出现,使得通过数据分析获得知识,商机和社会服务的服务的能力从以往局限于少数象牙塔之中的学术精英圈子扩大到了普通的机构,企业和政府部门。门槛的降低直接导致了数据的容错率提高和成本的降低。
大数据将逐渐成为现代社会基础设施的一部分,就如公路,铁路,港口,水电和通信网络一样不可或缺。但就其价值而言,大数据却和这些物理化的基础设施不同,不会因为人们的使用而折旧和贬值。世界的本质就是数据。
因此,大数据时代的经济学,政治学,社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展,进而影响人类的价值体系,知识体系和生活方式。
第一章  从小数据到大数据
1.1  小数据及缺点
小数据时代的随即采样,在最少数据获得最多的信息。在人口普查时既耗时又耗费。认为样本选择的随机性比样本数量更重要,这种观点导致随即采样的产生。之后,随机采样取得了巨大的成功,成为现代社会,现代测量领域的主心骨。
随即采样是在不可收集和分析全部数据的情况下的一条捷径,但当人们想了解更深层次的细分领域的情况时,随机采样的方法就不可取了,在宏观领域其作用的方法在微观领域失去了作用。样本=总体是我们能对数据进行深度探讨,而采样几乎无法达到这样的效果。
1.2  全数据模式,样本=总体
1.2.1大数据兴起
若选择收集全面而完整的数据。我们需要足够的数据处理和储存能力,也需要最先进的分析技术。同时,简单廉价的数据收集方法也很重要。大数据是指不用随机分析法这样的捷径,而采用所有数据的方法。是建立在掌握所有数据,至少是尽可能多的数据的基础上的。社会科学不再单纯依赖于分析实证数据。
是大数据让我们发现了相扑中的非法操纵比赛结果,流感的传播区域和对抗癌症需要针对的那部分DNA。它是让我们能清楚分析微观层面的情况。
1.2.2大数据的四个特性
海量性:企业面临着数据量的大规模增长。例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外,各种意想不到的来源都能产生数据。
多样性:一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中,部分传感器安装在火车、汽车和飞机上,每个传感器都增加了数据的多样性。
高速性:高速描述的是数据被创建和移动的速度。在高速网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。根据IMS Research关于数据创建速度的调查,据预测,到2020年全球将拥有220亿部互联网连接设备。
易变性:大数据具有多层结构,这意味着大数据会呈现出多变的形式和类型。

第二章 价值
2.1  大数据的发展趋势
大数据的整体态势和发展趋势,主要体现在几个方面:大数据与学术、大数据与人类的活动,大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上,数据的规模将变得更大,数据资源化、数据的价值凸显、数据私有化出现和联盟共享。
大数据的发展会催生许多新兴新职业,会产生数据分析师、数据科学家、数据工程师,有非常丰富的数据经验的人才会成为稀缺人才。随着大数据的发展,数据共享联盟将逐渐壮大成为产业的核心一环。随着大数据的共享越来越大,隐私问题也随之而来,比如说每天手机产生的通话、位置等等。但这给带来了便利的同时也给带来了个人隐私的问题。数据资源化,大数据在国家和企业和社会层面成为重要的战略资源,成为新的战略制高点和抢购的新焦点。
随着社会的不断发展,大数据对IT技术架构的挑战,大数据的生态环境问题,大数据的应用及产业链将日益突出。
    大数据与云计算。为解决互联网应用对大规模计算能力、数据存储能力的迫切需求,云计算的概念被提出。云计算是一种分布式计算平台,通过虚拟技术将海量的硬件资源和虚拟资源虚拟成虚拟资源池,并根据需求任务的大小,向虚拟资源池获取相应的计算和存储资源。在大数据处理的需求下,出现了许多优秀的云计算平台,例如Apache开源的Haoop、 Google的Map Reduce、微软的Dryad等。在处理格式多样的大数据时,云计算能协调组织众节点,提供廉价的资源和服务,具有较可靠的可扩展性和容错性。然而,对于大规模复杂的应用系统来说,云计算还有诸多的技术问题有待深入研究。为应对数据密集型服务,云计算提供分布式并行编程技术、分布式并行数据库技术,可通过开源的编程接口和工具来调用服务,其优势是能高效处理结构简单的大数据,但对关系复杂的大数据的处理,在效率和准确率方面还不能令人满意。

2.2  数据创新
随着大数据的出现,数据的总和比部分更有价值。当我们将多个数据集的总和重组在一起时,重组总和本身的价值也比单个总和更大。
数据价值的关键是看似无限的再利用,即它的潜在价值。潜在价值的概念表明,组织机构应收集尽可能多的使用数据并保存尽可能多的时间。同时也应当与第三方分享数据,前提是要保留所谓的延伸性权利。这样一来,由数据再利用而产生的任何商业价值,原始数据拥有者都能从中分到一杯羹。数据收集者和拥有者无法想象数据再利用的所有可能方式,这一点几乎是不言自明的。即使数据用于基本用途的价值会减少,但潜在价值却依然强大。
数据可以再利用,这对于收集或控制着大型数据集但目前却很少使用的机构来说是有利的。促成数据再利用的方法之一是从一开始就设计好它的可扩展性。
大部分的数据价值在于它的使用,而不是占有本身。

结  论
  大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉。但大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法完全代替。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群