全部版块 我的主页
论坛 数据科学与人工智能 大数据分析 Hadoop论坛
4996 2
2014-07-12
可能我的标题会让专业人士有些鄙视,我是作为一个基本小白的角度提出这个问题的.

我目前在某国企的基层分公司从事数据统计工作,具体的工作就是按照市场分析人员的要求,每天从oracle数据库里写SQL或存储过程,调取相应的数据,制成excel表格给市场分析人员进行二次加工或分析. 简单来说,算是个人肉数据提取器.

一晃工作已经快十年了,感觉每天做的工作已经从新奇变成低级的重复劳动,技术上已经处于半荒废状态,只对oracle有个大致的了解,对数据仓库的最简单应用有个大概的认识.对于未来还是越来越惶恐,所以想学习一些新的知识来勉强跟上时代.

(我们常用的一个数据仓库简略来说是这样的,若干个系统搜集的底层数据经过清洗放在DW层,进过二次加工的原始数据放在一个中间层MID层,最终系统级的展现及前台应用放在DM层; 而我们是通过这三层数据用SQL语句进行一些系统外的整理加工. 一般的表日全量数据大约一千万到1亿行不等,常用的基础表大约百来个)

由于一直从事的是数据挖掘(勉强算吧)工作,我们一直以来都是直接通过sql语句操作进行过清洗的底层数据.在网上搜索数据分析相关的知识,大部分的答案都指向SPSS及hadoop等数据挖掘软件. 大概搜索了一下这些软件的概况,可能我比较笨或是很久没有学习专业知识了,很难看懂它们的作用.

说了那么多,主要想请问下从事这个行业的牛人们,

1,假设我学习hadoop或SPSS,对我目前从事的数据统计分析工作有什么帮助?
2,相对于直接用sql操作数据库,hadoop和SPSS可以更便捷的实现哪些方面的功能?
3,这些软件的学习周期大致是个什么情况?
4,在抛开主题,我上面提到的数据仓库的规模下,扩展学习哪些技能能起到最快的帮助.


来源:知乎
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2014-7-12 07:40:58

1, 假设我学习 hadoop 或 SPSS, 对我目前从事的数据统计分析工作有什么帮助?


取代你们的市场人员进行二次加工


2, 相对于直接用 sql 操作数据库,hadoop 和 SPSS 可以更便捷的实现哪些方面的功能?


功能不同,SPSS 是把很多对数据的操作集成在一起了,这样点一些按钮通过 GUI 就能实现对数据的统计功能,Hadoop 是实现算法的一种并行化操作,和 SQL 没有什么关系。回答你的问题,SQL 和 SPSS Hadoop 都没有什么关系,因为 SQL 是查询数据的,后两者一个是分析数据,一个是实现算法的一个框架。


3, 这些软件的学习周期大致是个什么情况?

SPSS 其实蛮好学的,只是需要懂其中的统计学知识,才知道要用哪些功能。Hadoop 的话,看你的需求了,如果有集群设备,然后知道分析什么,学学也不错。至于学习周期,我没有在工业界呆过,还请工业界的人回答吧。


4, 在抛开主题, 我上面提到的数据仓库的规模下, 扩展学习哪些技能能起到最快的帮助.

数据量很大了,在上面进行一些深加工,依照需求选择性的学习一些数据挖掘方法。你可以把你提取出来的数据放到 SPSS 里面,看看一些算法的计算结果,说不定会有收获。




二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-7-12 08:00:59
kankanba
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群