经管之家App
让优质教育人人可得
立即打开
全部版块
我的主页
›
论坛
›
数据科学与人工智能
›
数据分析与数据科学
›
SAS专版
这是为我自己准备而摘录的
楼主
爱萌
2012
4
收藏
2011-02-13
◆数据挖掘万能论:身边的永动机
我们身边有永动机么?没有,但是如果这样讲:“数据挖掘是万能的,它可以计算出你想要的任何东西,只要有数据。”——这句话就是永动机的理论。在数据挖掘的经典理论中,模式并非一定存在,模式不明显到与随机分布差不多的时候,就根本没有模式。翻译成电信语言就是:如果流失客户在系统中的数据与未流失客户的特征没有任何差别,那么流失是不可预测的。避免这类错误的方法只有一个:了解数据挖掘的经典理论和基本概念。(数据挖掘只是为了信息和模式等,如果遇到数据造假是无能的 )
◆命中率神话:揭开效果之谜
用分类技术(决策树、神经网络)作流失预测的时候,很多工程师会跟甲方承诺一个命中率。命中率的概念是工程师给出的流失客户的名单中下个月真正流失客户的占比。这个值好像越高越好,其实不然。这是因为数据挖掘软件作的预测实际上是一种概率的判决,必然存在错误的判断。精确的说法应该是在一定比例内的命中率。比如本地网有10万个客户,则3000人名单的准确率、5000人名单的准确率、1万人名单的准确率的说法才是科学的。企业需要实事求是,根据自己的业务需求确定一个综合考虑覆盖率的准确率期望。(假阳性与统计功效)
◆软件工具必须买:造中国自己的原子弹
有些企业经理认为,软件工具必须购买大公司开发的,其复杂、专业、有权威的示范性。但它是否适应企业或者适应研究的业务并不在经理们重点考虑的范围内。如果我们经常穿梭于专业的数据挖掘工作组,就会发现真正的高手是不使用商业数据挖掘软件的,即使使用,也用SASEM这样的可以写代码的软件。他们的工作方法是:探索数据、找合适的算法、简单编码实现、跑数据和写报告,因为应用的层次深化和效果提升才是最重要的。中国可以造自己的原子弹,运营商呢?(什么样的软件关键是人用)
◆工程师的水平标杆:智慧库与会说话的工具
企业招聘数据挖掘工程师时,应聘者众多,有人自称从事数据挖掘工作已20年,但事实上,国内人士研究数据挖掘才不过十年。很多人认为统计也是数据挖掘,那么,如何去衡量数据挖掘工程师的真实实力与水平呢?第一,看他理论基础。第二,看他掌握方法。没有足够的数学模型能力、统计分析能力、逻辑分析能力的工程师是不合格的。第三,看他创新能力。一句话,好的数据挖掘工程师是可以依靠的智慧库,不那么优秀的数据挖掘工程师只是会说话的工具。(数据挖掘工程师的质量决定)
◆模型不用更新:流水不腐,户枢不蠹
有人说,模型做好了就不用更新了。中国古谚“流水不腐,户枢不蠹”,用在数据挖掘上再合适不过。客户是流动的、业务是变化的、政策是滚动的、对手是狡猾的、经济是波动的,那么模型是固定的吗?不是,一系列的变化使得客户的行为模式发生变化,模型也要适时更新,否则商机若失,必成庸碌之辈。(因数据,因目的,因标准而变)
◆算法都一样:西装穿球鞋
有不少仅仅懂得数据挖掘技术皮毛的人会大手一挥:算法都是一样的,不就是聚个类、预个测吗?我们都知道穿西装是不可以穿球鞋的,因为不匹配,在数据挖掘实践中,算法是死板的,没有一种算法可以一统江湖,算法的适用性非常重要,对噪声点多而且多为奇异点的数据,最好不用K-means这样的算法,而要采用DBSCAN;反之遇到数据为球状簇分布而且呈哑铃状的粘连簇,K-means的表现要远好于DBSCAN。(各种算法个不同,如PCA 与FA)
◆数据挖掘就是软件:脑指挥手还是手指挥脑
有人可能说,数据挖掘不就是一个软件吗?管理科学一直是先进技术与理念的最佳试验场,从ERP、MRPII、OLAP、CRM(客户关系管理)到DM(数据挖掘),我们都会有这样一个经验,管理不是一个软件,系统更不仅仅是一个软件。上了CRM软件不见得就搞好了客户关系,数据挖掘软件一装,模型一跑,也并不是一个真正的数据挖掘系统。软件工具是手,而工程师是大脑,我们需要的是智慧的人脑指挥能干的手,而不是不动脑地动手或者手指挥脑。数据挖掘软件的战斗力体现在使用者的智慧上。(没有设计好就不要做,做了要评估,只有实验好了,才能推广)
◆会统计就会挖掘:老虎不会上树
有人说,统计很牛,挖掘就很牛。首先,我们承认统计学与数据挖掘存在较为密切的关系。但是两者并无特别联系,在数据挖掘的各个发展阶段,只有一个子方向的开拓可以算在统计学的功劳上,那就是贝叶斯网络。我们希望统计回归本位,既不托得太高,也不能看得太低:数据挖掘工程师都是具有统计分析能力的,统计分析是数据挖掘的基础能力和基本步骤之一。猫和老虎长得真像,可是老虎不会上树啊。(统计不是数据挖掘,数据挖掘一定需要统计)
◆业务重于挖掘结果:用人莫疑,疑人莫用
有这样的本地网,挖掘结果出来以后,与业务经验有些偏差,比如在模式的理解上有矛盾,业务人员认为结果不对,仍然按照业务经验修订结果。
俗语云:用人莫疑,疑人莫用。既然花了成本做了数据挖掘,就要尊重客观的挖掘结果,如果与业务经验矛盾,需要检查挖掘的各个步骤,找出问题在哪里;如果没有问题,那么就是过去的业务理解错了,敢于面对现实,纠正以往的偏差,不失为一种风度和智慧。(这是我控制不了的,但是要尽量说服,从实际出发)
◆数据挖掘没有用:淮南淮北,橘枳相异
有的本地网做完了数据挖掘项目,发现效果不好,于是得出结论:数据挖掘没有用。其实,橘生淮南则为橘,生淮北则为枳。一水之隔,本质区别,如同考试的时候59分与60分就差1分,但是两种结果。数据挖掘的成功需要很多条件,缺一不可:第一,良好的数据环境;第二,优秀的工程师;第三,适应目标数据集的软件工具;第四,分析目标数据集存在可被挖掘的非随机的模式信息。解决数据挖掘有效性问题的方法就是检查数据挖掘的各个步骤。(无能不能怨工具)
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
全部回复
沙发
baoaibaobao
2011-2-13 21:56:00
恭喜恭喜!
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
藤椅
chouxiangdaishu
2011-2-13 23:05:33
模型或算法,只是又臭又长的流程中的一小部分,别看得太重。
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
板凳
hssnow
2011-2-13 23:12:16
图片看不到啊...
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
报纸
论坛数据分析
2011-2-14 09:07:04
看看
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
相关推荐
数据挖掘技术:市场营销、销售与客户关系管理领域应用(原书第2版英文版)
谁有这本书
招聘:【数据挖掘工程师】四大国有银行数据挖掘项目-全职。
求书:数据挖掘技术应用于市场营销销售与客户关系管理
基于数据库和数据挖掘技术的客户关系管理
客户关系管理中数据挖掘技术的研究与应用
数据挖掘技术在客户关系管理中的应用分析——以银行业为例
基于数据挖掘技术的企业客户关系管理(CRM)
数据仓库和数据挖掘技术在银行客户关系管理中的应用
数据挖掘技术在商业银行客户关系管理中的应用
栏目导航
SAS专版
经管高考
灌水吧
休闲灌水
金融实务版
经管文库(原现金交易版)
热门文章
奇瑞2025年出口汽车超134.4万辆 蝉联中国车 ...
展望2026:学术智能体即将崛起?
CDA数据分析师:以数据思维赋能企业管理,驱 ...
Wooldridge的最新版Introductory Econometr ...
CDA全国考点信息一览(更新于2025年12月10日 ...
CDA Level III 认证考试大纲重磅更新并启用 ...
AI4S回归白盒符号主义,清华等联合发布SR-L ...
CDA数据分析脱产就业班于2025年12月08日开班 ...
【福利帖】元旦快乐
道氏理论大师杰作,股市技术分析领域的奠基 ...
推荐文章
26年寒假天津站|Gemini论文写作&数据分析 ...
2026JG学术冬训营:从Stata初高到Python机器 ...
关于如何利用文献的若干建议
关于学术研究和论文发表的一些建议
关于科研中如何学习基础知识的一些建议 (一 ...
一个自编的经济学建模小案例 --写给授课本科 ...
AI智能体赋能教学改革: 全国AI教育教学应用 ...
2025中国AIoT产业全景图谱报告-406页
关于文献求助的一些建议
几种免费下载文献的方法----我的文献应助经
说点什么
分享
微信
QQ空间
QQ
微博
扫码加好友,拉您进群
各岗位、行业、专业交流群