全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 数据分析与数据挖掘
4681 1
2016-12-03
什么是大数据?大数据有哪些特征?

1.
大数据是具备3V特征(Volume 大体量、Variety 复杂多样、Velocity 高速时效)的数据源。大众很容易理解 Volume,互联网公司、运营商和金融机构的数据量动辄以TB计,却往往会忽视 Variety 和 Velocity

Variety 是指大数据来源丰富、形态多样,常见的大数据就包括电商用户数据、文本数据、社交网络数据、车载信息服务数据、时间和位置数据、RFID数据、智能电网数据、设备传感器数据等等。

Velocity 是指大数据一边高速海量生成,同时数据的分析和应用也实时完成,比如,网络广告程序化购买、互联网金融实时授信,都涉及到实时处理海量数据的技术。

2. 大数据也是一个相对的概念,目前的“小数据”,曾经也是“大数据”。比如ERP、CRM里导出的数据,现在用excel就能轻松驾驭,但在几十年前,放在当时的技术条件下,这样的数据又何尝不是大体量、多样、高速的 "大数据"。目前的“大数据”,随着技术发展,未来也会成为能够轻松驾驭的“小数据”。

3. 大数据通常都是机器自动生成的,例如物联网中传感器自动生成环境数据。而传统数据的生成往往涉及人工因素,例如零售交易、电话呼叫等等。

4. 大数据往往不是 “结构化” 的,因此难以驾驭。收集传统数据源的交易系统通常会以整洁的、预先规范好的模板方式来生成数据,以确保数据容易被加载和使用。而大数据源在最开始通常不会被严格地定义,而是去收集所有可能使用到的信息。
  • 常见的财务报表就是典型的 “结构化” 数据,表头明确了数据的类别、科目,整洁规范。
  • 网络日志则是“半结构化”数据的代表,看起来乱七八糟,完全谈不上整洁规范,但其中每一条信息却都有特定用处。
  • 而文本,诸如博客文章、论坛评论则是 “非结构化” 数据,必须耗费大量精力进行转化和清洗,才能进行分析和利用。


5. 很多数据可能就是垃圾,并不蕴含大量价值。事实上,大部分数据甚至毫无价值。一篇网页日志中会含有非常重要的数据,但其中也包含了很多根本没有价值的数据。对其进行提炼,从而保留有价值的部分是非常必要的。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2016-12-4 10:23:21
感谢分享
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群