关于统计学习和数据挖掘的一些常见问题

1868

收藏 2014-11-09

1. 学习统计有没有用？
肯定是有用的。决策需要数据支撑，而统计学是数据分析的方法论。另一很有用的学科是运筹学，主要做优化方面的东西，但是就LZ经验来看，运用的广度和企业的接受度不急统计学（LZ公司统计背景vs运筹背景大概是10:1的比例）。

2.学什么软件好？
SPSS是上手最快的；SAS是最强大的；R是最灵活且最有潜力的；MATLAB运用的企业很少（有几个特定的行业比如投行之类的很喜欢它）。
如果你是统计背景的学生，那这几个软件应该都会，就不多说了。
如果是非非统计背景，且这几个都没接触过，那我建议你用SPSS，这样可以把精力专注于统计算法的学习上，而非软件本身的使用。而且就国内的情况而言，用SAS的公司主要集中于银行与药厂（如果说错了欢迎SAS公司的朋友指正），这样的企业非统计背景也很难挤进去。

3.报学习班有没有用？
大部分的学习班都是3,4天这样的，课程大纲大概是LZ上学时候1-2年学的东西。想在3-4天学会1-2年的东西，困难可想而知。所以想通过一个学习班学会统计是不可能的。踏踏实实选本书学是正道。LZ很喜欢的一本书：Discovering Statistics using IBM SPSS Statistics（http://www.ebookee.net/Discoveri ... istics_2546111.html），这本书学完基本上统计就算入门了，非常适合自学的一本书（百度上可以找到全彩pdf这种事情我当然不会乱说了）。英文不好的同学不好意思啦，中文的统计书（基于SPSS的）LZ敢说2013年以前出版的全部看过，觉得没有适合自学的。
（LZ的公司每年也会举办很多次SPSS培训，虽然象征性地收几百块钱，但LZ觉得对学生而言也算一笔负担了。学生时间比较多，强烈建议自学，不会的问题到这里或者人大经济论坛问，基本上问的靠谱的问题LZ都会帮助解答的。）
（补充：什么叫做靠谱的问题？比如你要盖一个房子，”房子要怎么盖啊“就是不个靠谱的问题；”非承重墙的砖头要用空心的还是实心的“算是个靠谱的问题。）

4.数学背景弱的人能自学统计吗？
没问题的，LZ很多同事（包括LZ本人）都是本科商科/工科然后硕士转统计的。对于不懂微积分、矩阵运算的同学，可能有些算法理解起来有困难，但是LZ觉得基本不碍大事。进行一个分析有四个很重要的环节：算法的使用前提条件（即assumption），算法的运算逻辑是什么样子的，如何在软件中操作，如何解读软件的输出结果。除了第二点以外，高中数学背景完全可以满足。
弄懂一三四就可以胜任大部分企业的分析工作了，很多业内人士都没弄清楚。（亲身经历，国内某一线市场调研公司的研究员打来电话问算法的时候顺便提了下她正在进行的一个产品测试（A/B test）的问题，LZ告诉她按照她的数据要用配对t检验，她惊呼她们过去10年中一直对这种数据在用独立样本t检验。这就是典型的没弄清楚算法的使用前提条件。）

5.做数据挖掘需要精通统计算法吗？
数据挖掘主要的应用是预测（分类目标、连续目标）、聚类（客户细分）、关联规则。LZ个人觉得略懂统计就可以了。因为各个模型都有评估指标，建模完了直接看模型的效果就可以，当然熟悉算法的话可以帮你去优化模型（但是就是锦上添花的东西了）。
LZ个人觉得做数据挖掘比做统计分析容易，因为你不需要非常懂算法。

6.做数据挖掘需要懂编程吗？
看企业和应用。
比如互联网企业，做自然语言相关的，不懂编程就没法做。很多电商，做数据挖掘，要跟现有的系统做对接，也需要编程。
以上这两种企业特别适合计算机背景的同学。
但是也有很多企业（尤其是企业中做客户关系管理或者营销的部门），需要数据分析和数据挖掘来支持企业决策，主定期分析数据然后写报告。这种企业是各位看见编程就头大的同学最理想的选择。

来自：豆瓣统计学习小组