全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 数据分析与数据挖掘
7337 7
2013-12-08
今年听到的比较多的就是云计算,好像这是未来的企业变革方向,同时还听到云计算和大数据是分不开的,那么二者有什么关系,即将到来的大数据时代和现在的数据分析数据挖掘一样吗?请大神多多指教,
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2013-12-9 14:10:20
以下是我个人以前在美国研究机构做数据分析和后来在公司开发云端数据挖掘系统的一些体会,希望对你有一些帮助。

最开始的时候,我也是使用单机分析数据,当时购买的是联想w510的图形工作站。后来我们分析的数据文件的尺寸从最开始的几十MB进入到后面7GB到后期的10GB+, 哪怕是w510也觉得力不从心,很容易就出现内存溢出的错误。所以研究所联系了大学的高能计算中心,当时他们分配给我们的服务器的内存最高可达128GB。但是当时因为各种原因,用户体验并不好,主要是连接的速度太慢,特别是远程使用MATLAB难以使用图形界面。

而后来在我们开发数据挖掘系统的时候,我们在验证各种技术期间,是在本地搭建了ubuntu服务器, 然后利用花生壳映射到公网,但是访问速度非常慢,又受到停电,断网等影响。所以我们在推出测试版后,变采用Amazon 公司的弹性云集算系统 (Elastic Compute Cloud, EC2). 虽然我们仅仅是采用的免费版本,按照Amazon自己的描述,速度属于“很慢 ”, 但是与我们自己的搭建的服务器相比,速度已经远不是一个数量级。

事实上,很多的大公司,著名高校都采用了 Amazon的EC2系统而不是自己服务器来处理数据,以前在大学需要几个月运算出来的结果,在Amazon EC2的商业级应用上上仅需一个小时。而且Amazon EC2 提出的按使用量付费的思想,能够让企业的每一分钱都用在刀刃上, 而自建服务器往往会产生巨大的浪费 。

简而言之,大数据的核心是服务,而云计算则是这些服务赖以生存的基础设施。中国的很多IT巨头和地方ZF也在大量地上云计算服务,这跟30年前要致富先修路是一个道理。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2013-12-9 14:13:56
欢迎大家去我们的网站体会云计算数据挖掘系统 www.foam-buffalo.com  
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2013-12-9 22:12:04
飞起一脚 发表于 2013-12-9 14:10
以下是我个人以前在美国研究机构做数据分析和后来在公司开发云端数据挖掘系统的一些体会,希望对你有一些帮 ...
首先,谢谢你,这么用心的回答,我对你回答的理解就是:云计算是互联网的进一步发展,数据进一步共享,共享后的数据会很大,也就是大数据,以前用以数据挖掘的硬件设备可能由于内存和存储的限制需要进一步发展。像现在的power平台
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2013-12-10 14:51:41
fanxinkong 发表于 2013-12-9 22:12
首先,谢谢你,这么用心的回答,我对你回答的理解就是:云计算是互联网的进一步发展,数据进一步共享,共 ...
没什么,这是一个相互学习的过程,我们也受益良多。

大数据之所以为“大”, 还不单单在于其尺寸大,一般来说比较流行的定义是4V特征,即数量(Volume)、多样性(Variety)、速度(Velocity)和真实性(Veracity). 互联网自然是大大推动了大数据,特别是社交网络和移动互联网产生了大量的数据, 但是大数据触及的范围远远不限于互联网, 比如现代癌症研究,电网监控,航空管理,海关监管,天文研究等等都产生了巨大的数据和亟待处理。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2013-12-17 23:32:42
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群