大数据的概念或许大家并不陌生，“大”字不仅意味着数量的庞大，还代表着数据种类繁多、结构复杂，变化的速度也非常快，这些特征的出现与互联网的发展息息相关。从搜索引擎、社交网络的普及到今天人手皆是的移动终端，互联网上的信息总量正以每年 50% 的增速不断膨胀，其中 90% 的信息来自近三年，包括每个月 Facebook 上分享的 30 亿条内容，每天 12 TB 的 Twitter 信息，每天淘宝上超过 30 亿条店铺、商品浏览纪录及上千万的成交、收藏纪录等等。据 IDC 统计，2011 年全球所产生的数据总量是 1.8 ZB（10 的 21 次方），如果把这些数据刻录到 CD 碟片中，其摞起来的高度等于地球到月球的距离！

数据不仅在“量”上疯狂的增长着，在“源”上也不断的丰富着。目前世界上产生的数据，有近 80% 是由个人用户产生的；据估计，到 2020 年全球将有 500 亿个设备连入网络，地理位置、网络浏览行为、健康数据、甚至基因信息等，都成为技术为个体服务的有效资源，这也意味着商家对每一个用户都将有精准的了解，真正做到与客户的“零距离”接触。正是这种巨大的商业利益的驱使，使得大数据成为国际一流企业竞相投入使用的竞争利器。

今年年初，美国一名男子闯入了他家附近的 Target 店铺（Target 是一家美国零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼到，“你们竟然给我 17 岁的女儿发婴儿尿片和童车的优惠券，她才 17 岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理没有意识到，公司正在运行一套大数据系统。一个月后，这个愤怒的父亲打来电话道歉，因为 Target 发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。

诸如此类的应用，在国际零售行业巨头中已屡见不鲜，我们以 Target 作为首例，是因为它的案例的确留给人强烈的印象：数据的力量，不仅让商家提升了自己的业绩，还让客户为之心甘情愿买单。Target 创建了一套女性购买行为在怀孕期间产生变化的模型，不仅如此，如果用户从他们的店铺中购买了婴儿用品，Target 在接下来的几年中会根据婴儿的生长周期情况定期给这些顾客推送相关产品，使这些客户形成长期的忠诚度。

实际上，诸如沃尔玛、Tesco（英国零售巨头）等巨头已从数据中获得了巨大的利益，也因此巩固了自己在业界的长盛不衰。以 Tesco 为例，这家全球利润第二大的零售商从其会员卡的用户购买记录中，充分了解一个用户是什么“类别”的客人，如速食者、单身、有上学孩子的家庭等等，并基于这些分类进行一系列的业务活动，比如，通过邮件或信件寄给用户的促销可以变得十分个性化，店内的上架商品及促销也可以根据周围人群的喜好、消费的时段来更加有针对性，从而提高货品的流通。这样的做法为 Tesco 获得了丰厚的回报，仅在市场宣传一项，就能帮助 Tesco 每年节省 3.5 亿英镑的费用。

在互联网行业，大数据更是为电商、广告商们提供了丰厚的回报。雅虎于 2008 年初便开始启用大数据技术，每天分析超过 200PB 的数据，使得雅虎的服务变得更人性化，更贴近用户和客户。它与雅虎 IT 系统的方方面面进行协作，包括搜索、广告、用户体验和欺诈发现等。AOL 也设立了 300 节点的服务器集群，将在其下属系列网站（如 AOL.com、Huffington Post、MapQuest 等）中每天 500TB 的用户浏览信息收集起来，分析和预测这些用户的行为，以便有针对性的为每个月 1.8 亿独立用户进行个性化广告服务。

于亚马逊（Amazon）而言，数据技术的应用更是为其成为一家“信息公司”，独占电商领域鳌头奠定了稳定的基础。为了更深入的了解每一个用户，亚马逊不仅从每个用户的购买行为中获得信息，还将每个用户在其网站上的所有行为都记录下来：每个页面的停留时间，用户是否查看 Review，每个搜索的关键词，每个浏览的商品等等，在亚马逊去年 11 月推出的 Kindle Fire 中，内嵌的 Silk 浏览器更是可以将用户的行为数据一一记录下来。这些数据的有效分析使得亚马逊对于客户的购买行为和喜好有了全方位了解，对于其货品种类、库存、仓储、物流、及广告业务上都有着极大的效益回馈。

数据技术的应用不仅在零售和互联网行业获得极大回报，其带来的经济价值使得各行业均为之“竞折腰”。在能源行业，Opower 使用数据来提高消费用电的能效，并取得了显著的成功。作为一家提供 SaaS 服务（软件服务）的创新公司，Opower 与多家电力公司合作，分析美国家庭用电费用并将之与周围的邻居用电情况进行对比，被服务的家庭每个月都会受到一份对比的报告，显示自家用电在整个区域或全美类似家庭所处水平，以鼓励节约用电。Opower 的服务以覆盖了美国几百万户居民家庭，预计为美国消费用电每年节省 5 亿美元。

最值得一提的是生物信息行业。生物信息是继互联网行业之后数据迸发最迅速的行业，并将远远超过互联网产生的数据：人类用 0 和 1 创造了虚拟世界，而造物主用 A/C/T/G 四种元素创造了万物生灵，生命的产生、发展、消亡的奥秘尽在其中。随着测序技术的发展，全基因组的测序价格由十年前的上亿美元降至今天的数千美元，这使得更多人、物种的 DNA 信息的获取成为可能。个体全基因组信息的获取，使得个性化诊疗服务成为可能。在美国华盛顿大学，研究人员通过对一位白血病患者的基因信息进行分析，成功的找出了导致癌细胞迅速扩散的致癌基因，并发现了能够阻止该基因产生作用的药物，有效的延长了患者的生命。

诸如以上的应用，在悄无声息的进行着，是数据带来的市场价值推动着一切的进行，亦构成了“引爆”大数据产业发展的第二个推手。

技术与应用之间从来就是相辅相成的关系：应用的实现需要技术的支撑，而技术的进步能推动应用的普及。在以上实例应用的背后，是大数据技术让一切成为了可能。本文中，我们所指的大数据技术，主要是以 Hadoop 为代表的非关系型数据库系统及分布式运算架构，在这一部分，我们将简要介绍其发展背景。

上世纪 60 年代末关系型数据库技术的出现使得数据能按照固定的结构进行存储，方便用户根据数据属性进行查询的同时，也使得管理大为简便。然而，数据量的爆发增长和数据结构的多样性，不仅要求能快速录入、提取海量数据信息；还要求数据库随着数据量的增加而灵活扩展、数据存储不局限于固定的结构。这时，传统的关系型数据库技术已无法满足这些需求，于是，NoSQL 技术在上世纪末期开始出现。

然而，非关系型数据库技术一开始并未得到广泛应用，直到 2009 年，在搜索引擎、社交网络等互联网应用盛行使得数据量迅猛增加后，才开始为人们所重视并投入使用。发展到今天，NoSQL 技术已经形成了一系列不同用途的数据库管理系统，如 BigTable、Amazon DynamoDB、Hadoop/Hbase、Cassandra 等列族存储系统（Wide Column Store），MongoDB、CouchDB 等文件存储系统，Neo4J 等图形数据库系统。由于列族存储系统支持多种类型的数据存储，目前应用的范围最为广泛。

2004 年初，Google 开始研发 BigTable 非关系型数据库系统，它是建立在 Google 文件系统之上的一种压缩的、高扩展的数据库技术，可以让 Google 对于自身新增业务处理进行低成本的扩展。8 个月后，BigTable 开始投入内部使用，后来被广泛应用于一系列的 Google 应用中，如 Google Reader、Google Earth、Google Maps、Gmail、YouTube 等等。为了解决海量信息的计算问题，Google 又研发了 MapReduce 的并行计算技术架构，使得 T 量级以上的数据可以并行处理，并通过 BigTable 来存储和更改资料，有效的支撑了 Google 日益增长的数据处理任务。而 BigTable 这一模型，启发了众多“后来者”的数据技术。

Hadoop 便是其中一员。这个由 Yahoo！ 的前员工 Doug Cutting（现任职于 Cloudera 公司）最初负责开发的项目，已成为大数据行业的技术中心。Hadoop 是由一系列开源技术组成的分布式架构，包括 Hbase 列数据库系统、MapReduce 并行计算框架、HDFS 分布式文件系统、Mahout 算法库等等，由于其扩展性高、数据种类灵活、成本低，Hadoop 被广泛应用于各行各业，包括互联网、生物信息、物联网，甚至美国宇航局 NASA 也用 Hadoop 来处理从宇宙望远镜中传回海量无线电数据，其数据量达到每秒钟 700TB!

2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的商用解决方案，其中包括 IBM、甲骨文（Oracle）、微软EMC、Teradata 等行业领先的数据解决方案提供商，使得 NoSQL 技术成为现存 SQL 数据解决方案的强有力补充；众巨头纷纷推出相应产品，来适应其客户数据业务的爆发增长，如 IBM 的 InfoSphere BigInsights，甲骨文的 BigData Appliance，EMC 的 GreenPlum 等等。Cloudera 公司的产品使得开源技术有效的为商业客户提供服务，而其创始人 Jeff Hammerbacher 亦被福布斯评为美国 30 位 30 岁以下科技领域的明日之星之一。

目前，Hadoop 技术以及被广泛应用了各大互联网公司，包括 Facebook、亚马逊、苹果、AOL、Ebay、Twitter、Netflix、淘宝、百度等等；在生物信息行业中，也初步得到了应用，如大型制药公司提供研究服务的 NextBio 公司，设立了 100 个节点的 Hadoop 集群来帮助制药公司进行基因研究。先进技术的发展为企业提供了高效使用数据的便捷工具，是促进大数据行业发展的第三大推手。