原标题 [未来几年金融IT行业热点是大数据]
　　“如果说IT行业过去几年最大的热点是云计算的话，未来金融IT的热点就是大数据。”在日前由证券时报举办的“2012中国金融IT创新高峰论坛”上，IBM大中华区数据管理产品及系统管理产品技术总监刘胜利表示。

　　刘胜利表示，大数据除了强大的分析功能外，还有数据量大、数据种类多样、生成和处理速度快等特点。他以银行业务中最为复杂的托管业务举例，“通过对数据的调研，把数据导到大平台数据库，再进行处理，经过一个月的努力发现：在传统平台下能够处理的，在大数据平台下一样能处理，而且处理结果更好。这是一个很成功的选择，在此过程中银行客户也得到很好的启示并积累了经验。”

　　他表示，过去银行、金融单位包括其他IT企业关注的都仅仅是本公司的数据，但在大数据平台下，不仅可以关注自家企业数据，还可以关注互联网的数据，这些数据能帮助企业和个人分析挖掘客户需求，提高服务水平和创新能力。刘胜利说，大数据的运用不仅银行需要，证券公司同样需要。“行业特点要求券商必须建立行业服务数据，为未来数据的挖掘和收集提供帮助，这是一个非常大的帮助，需要一个长期的建设过程。” （桂衍民）

　　作者：桂衍民

云计算大数据帮忙找恐怖分子

今天在旧金山的第四届AppNation会议上，美国中央情报局的CTO Gus Hunt与大家分享了中情局近来在科技上的发展。Gus Hunt说，中情局其实和任何其他公司一样：可口可乐会通过数据来找出消费习惯，而中情局则通过数据找到恐怖分子，所以云计算和大数据(Big Data)对中情局来说，有着至关重要的作用。

情报都是数据，Gus透露，中情局有自己的“私有云”(Private Cloud)，并且使用了一系列云计算软件， 其中包括为Facebook研发的Apache Cassandra和MapReduce系统来处理庞大的数据。云计算帮助分析情报并找到可疑的规律，而大数据则帮助他们大海捞针时，把“针”放大几百倍。

就大家关心的安全问题，Gus说，他认为如果操作得当，云计算会比普通计算模式更安全。Gus认为云计算有这个潜能是因为它需要一个动态的虚拟环境去支持，中情局会根据这个特性不断更新虚拟机器，让所有的电脑及时更新。这样的话，敌方就不会知道到底哪一台电脑里面是他们想要的数据。

当被问到中情局系统是否有社交网络时，Gus说，目前还没有社交应用，但是在内部系统中，有一些能够供人分享的工具，比如一个叫“共用文件夹”(Common folder Service)的应用，一个情报分析员创建一个主题的文件夹，例如“伊拉克大规模杀伤性武器”，他可以分享给大家，其他的分析员可以直接把他们收集到的情报放到这个文件夹里去，创建人可以设计查看限权，所以并不是任何人都能看到文件夹里的内容。另外，中情局的分析软件Trident也有分享的功能，当你在Trident里输入你想到知道的主题，Trident会在桌面上显示整个中情局系统又新增了多少关于这个主题的文件，然后你可以点开Trident查看。

Gus说中情局的云系统的每一个环节都是非常具体非常细节的。下一步，他想要发展一个能够与美国其他情报机构分享中情局的私有云的系统，让中情局的情报为其他情报机构服务。

奥巴马ZF2013年的财政预算再一次对中情局的预算做出了削减。由于云计算较传统模式更高效更节约成本，奥巴马ZF的这一决定也使他们加快了运用云计算的步伐，在此之前，他们不得不终止与一些外包软件公司的合约，而这些合约一旦终止就很难再恢复。中情局今后将发展尝试减少购买传统的企业软件，增加按成果付费的软件服务，Gus打了一个比方，软件服务公司就像Amazon一样卖很多东西，但你只为你买的那样东西买单。

大数据时代：个体将会同样强大

信息技术大革命的背景下，在互联网进入到了平台化阶段后，Facebook、LinkedIn、Twitter、等社交网络以及Google、百度等一类拥有超量用户的互联网入口都累积了巨量的用户行为信息。在以前，互联网人士习惯于用数据分析（data analysis）作为平台优化以及提供更好的服务的方式，不过，“大数据”（big data）概念的提出，将所有这些存储起来的数据转化成为研究和了解人们生活、工作和思维，并能广泛地用于医疗、商业和科技研究领域。
　　12月11日，在北京亦庄科技开发区的中国云基地，牛津大学网络学院互联网研究所治理与监管专业教授维克托?迈尔-舍恩伯格（Viktor Mayer Schongberger）与中国宽带产业基金董事长田溯宁就大数据话题进行了探讨，并对大数据时代中的个体提出了自己的观点。
　　迈尔-舍恩伯格指出，在过去三十年中，计算机和电信行业发行的变革让人们不再只是通过一个“锁眼”来看世界，而是找到了打开大门的钥匙来进入世界里面。大数据则是将所有数据拼接起来，形成一个完整的世界。在大数据时代，每一个人将大数据作为一个工具，以此实现更为理性和公平的判断和决策，而且这一种是很强大的力量。在此之前，由于这些工具要求更大成本和投入原因，只有大的企业才能拥有。不过，现在个人也已经拥有相同的能力。由于数据收集工具的多样化，田溯宁认为，在云计算和云存储时代，之前统计学中的样本概念将会拋弃，因代之以“全息数据”，即样本并不是抽样数据，而是全部的数据，能让人看到事物的整体性。例如，统计学是以样本的方式来了解真实的世界，但抽样就象是盲人摸象一样，只能是全部数据的一部分，因而也只能代表着事物的一部分。大数据所强调的全面和全体则让人看到了世界的全貌。

大数据：在路上•晃晃悠悠
接下这本翻译的时候，我的目标是做到110%的好。因为作者毕竟不如我们每天在一线与数据厮杀搏斗，其爱其恨都更深刻。特别地，我们可以为中文的读者补充很多中国的例子和参考资料。很遗憾，我们最终只做到了90%，应该补充的一些材料还没有整理好，遣词造句也多有生硬疏忽之处。如果再给我一个月的时间，就可以有我预想的110%甚至120%。为什么现在把这个版本呈现给诸位呢？一是因为我们的努力使得本书中译本的出版和英文原版完全同步，单从获取知识的角度讲，我们一点不比美国的读者慢！二是我相信作者在书中的一个重要观点，就是大数据时代，要允许一点点的错误和不完美，因为效率可能更加重要！留下一些可供提高的地方，也使得我们的每一次印刷，都能够与以前有所不同。
    这本书是200%的好，因此90%的译本也绝对值得一读。作者首先抛出了大数据时代处理数据理念上的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果；接着从万事万物数据化和数据交叉复用的巨大价值两个方面讲述驱动大数据战车向前滚动在材质和智力方面的最根本动力；最后，作者冷静描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等等问题。
    国内最近也出版了一些大数据方面的著作，可以和本书互为补充。郑毅的《证析》对于数据通过交叉复用体现的新价值、大数据战略在企业和政府执行层面的流程以及大数据科学家这一新职位和围绕这个职位的能力和责任给出了最深刻最具体的描述；子沛的《大数据》对于数据的公正性、公平性以及信息和数据管理等方面理念、政策和执行的变化，特别是美国在这方面的进展，给出了完整的介绍；苏萌、林森和我合著的《个性化：商业的未来》则对大数据时代最重要的技术，个性化技术，以及与之相关的新商业模式给出了从理念到技术细节的全景工笔。总的来说，这三本书都针对本书的某一局部给出了更深刻的介绍和洞见，也各有明显超出本书的优点，但三本之和也无法囊括本书的菁华，亦缺乏本书的宏大视野。
    简单地说，这本书好在三个地方。一是观点掷地有声，绝非主流媒体上若干讨论的简单汇总和平均，更不是一个宏大概念面前暧昧的叫好声。读者可能对其中一些观点不认同，但是读完之后不可能一个都记不住。二是观念高屋建瓴，作者试图从很多实例和经验，包括历史事件中萃取出普适性的观念，而不仅仅是适用于几个特定情况下的案例分析。三是例子丰富翔实，不大的篇幅包括了上百个学术和商业的实例。三点近乎完美地结合起来，体现了作者驾驭大问题的能力和丰富的知识，以及，可能更重要地，作者渴求立言立说的野心！所以说，这本书绝对不是一堆枯燥的纲要，更不是一本巨厚的杂志。
    我在这里拼命叫好，是为了更多卖这本书，不代表作者的所有观点都是绝对真理。举个例子，我本人对于大数据时代“相关关系比因果关系更重要”这个观点就不认同。有了机器学习，特别是集成学习，我们解决问题的方式变成了训练所有可能的模型和拟合所有可能的参数——问题从一个端口进去，答案从另一个端口出来，中间则是一个黑匣子，因为没有人能够从成千上万的参数拟合值里面读到“科学”，我们读到的只是“计算机工程”。与其说大数据让我们重视相关胜于因果，不如说机器学习和以结果为导向的研究思路让我们变得这样。那么大数据是不是都这样了，其实很多时候恰恰相反。想想瑞士日内瓦的强子对撞机，我们在上面捕获了人类有史以来最大规模的单位时间数据。我们是希望找到或者验证某种相关关系吗？不是！我们试图回答地，正是人类所能问出的最伟大的关于因果联系的问题：希格斯玻色子是否存在，我们的宇宙是否有可能用标准模型刻画？这个问题的最终答案，将打破人和神的界限！认为相关重于因果，是某些有代表性的大数据分析手段（譬如机器学习）里面内禀的实用主义的魅影，绝非大数据自身的诉求。从小处讲，作者试图避免的“数据的独裁”和“错误的前提导致错误的结论”，其解决之道恰在于挖掘因果逻辑而非相关性；从大处讲，放弃对因果性的追求，就是放弃了人类凌驾于计算机之上的智力优势，是人类自身的放纵和堕落。如果未来某一天机器和计算完全接管了这个世界，那么这种放弃就是末日之始。
    苏珊·朗格在《哲学新视野》一书中说：“某些观念有时会以惊人的力量给知识状况带来巨大的冲击。由于这些观念能一下子解决许多问题，所以，它们似乎将有希望解决所有基本问题，澄清所有不明了的疑点。每个人都迅速抓住它们，作为进入某种新实证科学的法宝，作为可以用来建构一个综合分析体系的概念轴心。这种‘宏大概念’突然流行起来，一时间把几乎所有的东西都挤到一边。”这段话通常被认为是对当时“存在主义”和“精神分析法”这类万能概念的善意批评，而如今特别适合作为一盆冷水泼在那些没有任何深刻理解，却月月日日分分秒秒穿行于各种“大数据嘉年华”的投资人、媒体人和创业者。希望本书给予各位的是一些实实在在的知识和思考，并且唤起各位安静思索相关问题的心境。大数据是一个很重要的概念，代表了很重要的趋势，但我不希望它成为一种放之四海皆准的万能概念——因为越是万能的，就越是空洞的！人类学家吉尔兹在其著作《文化的解释》中曾给出了一个朴素而冷静的劝说：“试图在可以应用、可以拓展的地方，应用它、拓展它；在不能应用、不能拓展的地方，就停下来。”我想，这应该是所有人面对一个新领域或新概念时应有的态度。
    大数据的道路上没有戈多，我们已经在路上，晃晃悠悠。人类的自由意志和诸神之下的尊严，会在这条道路上异化甚至消逝吗？极目远眺，不知道世界的尽头，是否是一个冷酷的仙境！诸位为之奋斗吧，而我只想，做一个，麦田里的守望者。
    以为序。

云计算

数据的处理是要求有一些基础的

很有启发意义

以我对大数据的看法是，目前数据量确实是增长的太快了，但是问题就是这些数据还处于存储状态，要想真正的转化成知识还早着呢。而且，我非常不认同这种信息收集的方式，各种信息均存储反而是一种浪费。应该根据业务，制定数据采集方案，要把业务流和数据流相结合才可以。还有就是，一个企业，也要好好看自己究竟是不是一定要进行大数据部署呢？一年就产生几个G的企业，你玩大数据有什么用。一个东西，火热的时候必然是存在被误读的地方，我相信大数据目前，绝对没有网上扯的那么火，因为应用还不成熟。目前，学好基本理论，比学会hadoop重要，过两年，又会有新的应用软件出来的。

不错不错哦

一本关于大数据的书
《大数据— 正在到来的数据革命，以及它如何改变政府、商业与我们的生活》　　
作者: 涂子沛 　　出版社: 广西师范大学出版社 　　出版年: 2012-7 　　页数: 334 　　定价: 45.00元
内容简介
　　公布官员财产美国是怎么做的，美国能让少部人腐败起来吗，美国式上访是怎么回事，凭什么美国矿难那么少，全民医改美国做得到吗，美国总统大选有什么利器才能赢，下一轮全球洗牌我们世界工厂会被淘汰吗…… 　　除了上帝，任何人都必须用数据来说话。 　　大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言，预测未来最好的方法，就是去创造未来。而“大数据战略”，则是当下领航全球的先机。 　　大数据，这一世界大潮的来龙去脉如何？数据技术变革，何以能推动政府信息公开、透明和社会公正？何以促发行政管理和商业管理革新，并创造无限商机？又何以既便利又危及我们每个人的生活？Google、百度之类搜索服务，何以会不再有立足之地？引领世界的数据帝国——美国和西欧，正在如何应对大数据时代？我们中国，又当如何作为？ 　　本书通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。 　　美国是全书主体，但又处处反观中国当下的现实。回望中国，胡适批评“差不多先生”，黄仁宇求索“数目字管理”，作者从太平洋对面看到中美两国的差距，深知中国缺少什么、需要什么，故将十多年观察、思索所得，淘洗成这一本书。 　　史学大家、匹兹堡大学历史系荣誉讲座教授许倬云，有感于“老大哥”的影子，专门作序：“我们要对涂子沛先生致敬与致谢，因为他为华文世界提出一个重要的话题。” 　　哈佛大学商学院访问教授、全球顶尖的管理咨询大师达文波特，为中国政经两界提示智库建言：“无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。”
作者简介
　　涂子沛，知名专栏作家、信息管理专家，先后为《南方都市报》、《IT经理世界》、艾瑞网等多个报刊网站撰写专栏，网易、财经网名博博主。毕业于华中科技大学、中山大学和卡内基梅隆大学。赴美留学之前，曾在省、市、县几级政府的不同部门磨砺10年，做过职业程序员，担任过公安边防巡逻艇的指挥官，也从事过政府统计工作。现为美国某软件公司数据中心的主任。除了工作、写作，还热心公益，是匹兹堡华人社区的领袖。

以后会用到的  谢谢！

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 　　对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 　　大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

  在大数据时代，结构性数据仅占15%，更多的是类似于购物过程这样的非结构性数据。

大数据时代网民和消费者的界限正在消弭，企业的疆界变得模糊，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。因此，大数据对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。如果不能利用大数据更加贴近消费者、深刻理解需求、高效分析信息并作出预判，所有传统的产品公司都只能沦为新型用户平台级公司的附庸，其衰落不是管理能扭转的。

    因此，大数据时代将引发新一轮信息化投资和建设热潮。据IDC预测，到2020 年全球将总共拥有35ZB 的数据量，而麦肯锡则预测未来大数据产品在三大行业的应用就将产生7 千亿美元的潜在市场，未来中国大数据产品的潜在市场规模有望达到1.57 万亿元，给IT 行业开拓了一个新的黄金时代。数据处理技术和设备提供商、IT系统咨询和ERP/CRM/BI改造服务商、智能化和人机交互应用以及信息安全提供商将获巨大需求，相应公司将获得机会。

    当前我们还处在大数据时代的前夜，预计今明两年将是大数据市场的培育期， 2014年以后大数据产品将会形成业绩。由于国际巨头在硬件层和基础软件层垄断优势明显，本土企业将主要依靠对客户需求的了解和客户资源优势，以及本地化服务的优势，在应用软件层分得蛋糕，拥有大数据处理、挖掘技术、数据分析人才以及数据资产的公司值得看好。

呵呵，了解一下

以前是缺乏数据，现在是数据太多，杂乱，虚假无效数据滥竽充数，造成数据可利用率的下降，大数据理论正是在这个背景下的产物，应有大用，受教

全球领先的软件和技术服务企业SunGard在2012发布了年金融服务业各部门“大数据”发展的几大趋势：市场数据集变得越来越庞大，业务对数据的细分粒度要求越来越高，以满足预测模型、业务预测和交易影响评估的需求；新的监管和合规要求更强调治理和风险汇报，推动了全球性金融机构对更深入和透明的数据分析需求；金融机构不断完善自身的企业风险管理框架，该基于主数据管理策略开发的框架可协助企业提高风险透明度，加强风险的可审性和管理力度；金融服务公司都希望能充分利用各种服务交付渠道(如分公司、网络、移动通信等)的海量客户数据，开发新的预测分析模型，实现对客户消费行为模式进行分析，提高客户转化率；“大数据”推动了对数据处理算法的需求，提出对数据安全和访问控制的重视，并可有效降低对现有系统影响这方面的内容。大数据是推动金融企业进行数据分析投资的一个重要驱动力，优秀的数据分析能力恰恰是当今金融市场最需要的创新关键所在。客户关系定价、资本管理、公司财务表现、交易执行、安全和反欺诈等管理所需的业务分析是完善决策制定的核心基础。在目前不为稳定的金融环境中，是否能够拥有有效的大数据及相关建立模型的能力，以及对不同渠道和业务进行实时和历史的分析与决策，将成为金融类企业成功和失败的分水岭。

完全是两个概念，但两者之间是有一定的关联的，类似因果关系，大数据是因，数据挖掘是果，后者是前者的应用。信息时代之前数据量很大，可以进行数据挖掘，信息时代之后数据量更大。对数据的利用利用完全是两种心态，一种是主动式的，去寻找数据背后的需求，只是少数人和少数企业的专利。大数据时代有种被迫的概念，大家都在利用数据，你不做将会失去优势，另一方面，信息时代对量化数据的增多，也为数据挖掘提供了更大的发挥空间。

对公司来说是利润最大化， 占领市场， 打败竞争对手的工具。 对消费者来说有利的是竞争激烈了，自己付出的价格下降了。 不过这里的风险就是私人隐私的问题。 想想那种大型超市， 掌握着你的消费行为， 你在他们面前没有啥可隐藏的， 有点可怕的。 而且也怕他们利用这种信息来操纵价格。 所以利弊，难说的。

我个人觉得，大数据和一般的数据挖掘其实核心是没有区别的，主要使用的技术不一样，大数据使用的是全部样本而非抽样，强调数据之间的相关关系而非因果关系。

我个人觉得，大数据和一般的数据挖掘其实核心是没有区别的，主要使用的技术不一样，大数据使用的是全部样本而非抽样，强调数据之间的相关关系而非因果关系。

我个人觉得，大数据和一般的数据挖掘其实核心是没有区别的，主要使用的技术不一样，大数据使用的是全部样本而非抽样，强调数据之间的相关关系而非因果关系。