北大光华张俊妮（蒙特卡洛方法、数据挖掘）5月3日15点在线访谈 - 第3页 - 经管之家

› 论坛 › 经济学人二区 › 高级会员区 › 学者专栏

北大光华张俊妮（蒙特卡洛方法、数据挖掘）5月3日15点在线访谈

2013-5-3 15:36:52

星野发表于 2013-5-2 14:30
坛友：FlyUFalcon
高频交易最近是个热门词汇。请问蒙特卡洛分析高频数据有没有需要改进的地方？局限性又在 ...

高频数据是近年来的研究热点，有很多针对高频数据建立的统计模型。蒙特卡洛方法是从指定概率分布中抽样的一系列统计模拟方法，包括MCMC（马科夫链蒙特卡洛）、SMC（序贯蒙特卡洛）等。针对不同的统计模型，蒙特卡洛方法的具体步骤也不同。总会有更新的统计模型和更有效的蒙特卡洛方法。

我不知道你指的是不是某些行业经常使用多元正态分布来进行蒙特卡洛模拟，如果是这样，还是有局限性的，因为高频数据很可能不满足多元正态分布。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 15:43:53

星野发表于 2013-5-2 14:30
坛友：cwang82
Prof. Zhang,

贝叶斯学派是统计的两大学派之一（另一个是频率学派），金融中有各种各样的贝叶斯统计分析，在asset pricing、volatility modeling等领域都可以用到贝叶斯方法。比如Eric Jacquier and Nicholas Polson就写了一篇Bayesian Methods in Finance的论文。比如M. West and J. Harrison的书《Bayesian Forecasting and Dynamic Models》中的建模预测方法也可用于金融时间序列。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 15:50:40

星野发表于 2013-5-2 14:31
坛友：儒子扬威Leo
求教张老师：
作为一个商科的学生，对统计感兴趣（以后肯定是数据说话、大数据时代）， ...

我觉得你主要需要学习与营销结合的统计方法，知道怎么解释统计结果，建立预测模型，等等。营销领域有很多统计的应用，也有相关的书籍，如光华管理学院涂平老师写的《营销研究方法与应用》，更深的有Peter Rossi等人著的Bayesian Statistics and Marketing。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 15:53:53

星野发表于 2013-5-2 14:31
坛友：caixiaqing
张老师，您好，关于数据挖掘，我想请教您，在具体的分析过程中，如何来处理各个相关影响 ...

模型和变量选择是统计中间一个传统的并且不断更新的领域。各种统计模型中都可能牵涉到这个问题。实际中常用的是使用一些统计信息准则AIC、BIC等来从一些备选模型（比如加入不同自变量的线性回归模型）中进行选择。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:00:53

星野发表于 2013-5-2 14:32
坛友：hbhjhf
如今big data 炒的很火，无论政界、商界、学界还是公众，都高度关注。
张教授兼具计算机与统 ...

大数据时代当然不意味着统计学科的崩溃，反而给统计学的理论和应用的发展带来了极大的机遇。出现了新的数据类型（如社交网络等），数据分析提出新的要求（例如高维变量的问题），就需要新的统计方法。实际数据中总体不停地变，就需要模型能及时反映这一点。你说的这个问题虽然在大数据时代是个很明显的问题，但以前统计学家也不是没有碰到过，比如做online learning的时候，数据的分布可能就会随时变化。我倒没有专门和哈佛的教授讨论过这些，但大家都知道现在是统计发展的黄金时代。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:01:51

坛友：glpsyk
张老师，您好，我是国内金融硕士研究生。毕业后想在数据挖掘和金融投资结合的方向发展，如果申请国外phd的话，有没有学校推荐？申请金融方向还是数学方向比较好?

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:02:32

星野发表于 2013-5-2 14:32
坛友：yeting2000
张老师：
您好！感谢您百忙之中抽出宝贵时间为我们解答问题，我的问题是：例如一 ...

我想这些数据分析人员还是需要对数据挖掘框架和方法有一个比较详细的了解，再结合具体业务分析数据。可以参考拙作《数据挖掘与应用》。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

patrick20121314

2013-5-3 16:12:36

等待訪談

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:17:02

星野发表于 2013-5-2 14:33
坛友：NoHL
教授您好，看到您的研究领域有：因果推断和数据挖掘
那么请问如下问题：在进行大数据挖掘的 ...

我所研究的一类基于potential outcome的因果推断方法是假设已经知道原因（例如参加就业培训等），而用统计方法分析这个原因是否产生了可衡量的效果（例如提高就业率）。在因果推断领域常用的另一类方法是Graphical model，它用条件独立性质来描述因果关系并用图形的方式进行表述，再从数据中学习相应的图形。经济计量中还有Granger Causality等概念。但我觉得这些方法实际上都试图发现在某些程度上更像因果关系的相关关系，而不能断定是因果关系。对于时间序列的因果分析，抱歉我不太清楚。

蒙特卡洛方法是从指定概率分布中抽样的一系列统计模拟方法，包括MCMC（马科夫链蒙特卡洛）、SMC（序贯蒙特卡洛）等。针对不同的统计模型，蒙特卡洛方法的具体步骤也不同。在金融数据模拟中，我想还是从数据中先拟合一个合适的统计模型，再从模型中进行模拟，数据会更像实际数据一些。抱歉对于分形法和序列重排方法我不太清楚。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:19:47

星野发表于 2013-5-2 14:33
坛友：wuhui1018
张老师：您好！我个人最近对MCMC比较感兴趣。而里面主要两种算法。EM算法与GIBSS。大概就 ...

我想你可以阅读一下Jun Liu教授写的《Monte Carlo Strategies in Scientific Computing》中相应的章节。英文书籍后边都有索引，你可以根据索引找到相应的页。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:23:19

星野发表于 2013-5-2 14:33
坛友：xuruilong100
张老师你好, 因为工作的原因, 经常接触到"时间序列预测". 在做时间序列预测的时候遇到 ...

通常统计上的做法是将实际数据（t=1,...,T）分为两部分，前一部分（如t=1,...,S）用来建立模型，后面的数据（如t=S+1,...,T）用来检测模型预测的准确性。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:25:04

星野发表于 2013-5-2 14:35
坛友：justplay16
张老师您好！我是物理类的博士，明年毕业，打算以后转行做金融相关的数据挖掘和统计分析 ...

我想你可以去读一个金融或统计的研究生项目，很多物理专业的人都走过这条路。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:26:50

星野发表于 2013-5-2 14:35
坛友：solor1211
请问一下张教授，想系统地学习蒙特卡洛模拟，能否给点建议，提供一些学习的方法和书籍，谢 ...

你可以阅读一下Jun Liu教授写的《Monte Carlo Strategies in Scientific Computing》。重要是多实践，也就是自己编程进行模拟。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:34:08

星野发表于 2013-5-2 14:35
坛友：whiteice
数据挖掘中使用了由过去的数据来推动未来的行为，你认为这种思想好不好？如何提高预测精度 ...

数据挖掘中假设使用历史数据建立的模型能够预测未来，这种思想有它的优点，能够以一种规范的方法学习大量历史数据中的规律，支持决策，而人如果面临一堆材料或数据，很可能顾此而失彼。当然这种思想也有它的弱点（天下没有免费的午餐），当发生重大变化的时候，人可能立刻察觉而数据可能需要一段时间才能反映出来。

提高预测精度的一个关键点是要有质量高又与所分析问题密切相关的数据。在建模的过程中，也可以通过比较各种模型提高预测精度。数据挖掘中，通常把数据分为训练数据、验证数据和测试数据，使用训练数据建立各种模型，使用验证数据比较各种模型并选择预测精度比较好的模型，再使用测试数据评估所选模型的预测效果。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:40:07

星野发表于 2013-5-2 14:46
坛友：邪恶的左眼
张教授你好，我最近在写有关黄金期货的论文，我想问一下，在将日数据处理为周数据的时候 ...

哪种方法好可能还得看数据本身的变异程度、数据分析的目标。对于黄金期货我不太了解，抱歉没法给什么具体建议。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:42:31

星野发表于 2013-5-2 14:46
坛友：asd0109
张老师您好，

统计模型是需要根据实际数据建立的。国外的模型基于国外的数据建立，当然可能不适合中国的情况。收集并共享关于中国的质量高的数据，是提高统计模型应用效果的关键。这需要各方的切实努力。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:44:53

星野发表于 2013-5-2 14:47
坛友：zhuyun11223
张老师您好，我是统计学的本科生，今年9月开始统计学硕士学习。我最近对数据挖掘和机器 ...

SAS和R都是常用的统计软件，实现了很多统计方法，如果你的目标就是做统计分析，这两种语言很好。Python我听说过，没有用过，应该也是不错的语言，学计算机的人会使用，但不是专门的统计软件，估计实现的统计方法有限，但也许最常用的一些方法已经实现了，不太清楚。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:47:52

星野发表于 2013-5-2 14:48
坛友：党力
张老师您好：
我是一名经济学研究生。对于金融经济学也一直很感兴趣。计算机对于金融工程发展 ...

金融经济学方面不太清楚。matlab、SAS、stata等统计软件应该都可以用。软件不是关键，重要的是对于方法的掌握，对分析结果的解释，等等。再自己挑选一个合适的软件。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:49:22

星野发表于 2013-5-2 14:48
坛友：fridayshow
我想问的是，蒙特卡洛在exotic金融衍生品定价，风险管理特别是压力测试上都应用越来越广 ...

蒙特卡洛方法是从指定概率分布中抽样的一系列统计模拟方法，包括MCMC（马科夫链蒙特卡洛）、SMC（序贯蒙特卡洛）等。针对不同的统计模型，蒙特卡洛方法的具体步骤也不同。这还是要看具体问题，抱歉我对这个领域的具体问题不太清楚。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:50:39

星野发表于 2013-5-2 14:48
坛友：xueyinchina
老师您好，我现在是统计学专业的研究生，目前为止还未学习数据挖掘方面的知识，但是很想 ...

有好的统计和计算机背景，再能结合具体问题，就很好了。可以参考拙作《数据挖掘与应用》。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:53:32

星野发表于 2013-5-2 14:49
坛友：chnxgd
张老师好，根据历史数据统计的结果，在后续数据陆续补充后；
问题1：是把后续数据和前面数据 ...

应该需要看后续数据和前面的数据是否有很大的差异。简单的方法，你可以使用t检验等对比前面的数据和后续数据；复杂一点，你可以使用前面的数据建立一个模型对后面数据进行预测，如果超出95%的预测区间，可能后续数据就偏离大。如果差异不大，应该可以放在一起统计。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:56:27

星野发表于 2013-5-2 14:49
坛友：Rayn007
张教授您好！我没学过数据挖掘，我想问问商务数据分析如何进行？你能推荐一个较实用的 ...

还是学习一下数据挖掘的框架和方法，再结合各个领域具体的商务数据进行分析比较好。SAS中有数据挖掘组件Enterprise Miner是以所见即所得的方式设计的，我觉得还比较好。但如果了解地深一点，还是自己编程比较好。可以参考拙作《数据挖掘与应用》。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:57:32

星野发表于 2013-5-2 14:50
坛友：airways1
张老师，
到底是要先学程式，还是先学理论?同时进行好像两边都好乱。又如前几位先进所问的 ...

还是先学理论，再用软件实践比较好。软件只是一个工具，不是问题的关键。matlab等软件都可以选用。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 16:58:51

星野发表于 2013-5-2 14:50
坛友：0o戏子
张老师您好，我对将数据挖掘用于欺诈甄别这个方向比较感兴趣，希望能请您推荐一些这个方面的 ...

你提的具体问题我不太清楚。欺诈甄别是数据挖掘的一个应用，你可以先学习数据挖掘的框架和方法，再结合这个具体问题。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 17:02:15

星野发表于 2013-5-2 14:50
坛友：上官云天
张教授，
你好，数据挖掘目前是ＡＩ领域的一大研究热点，　它也是一个新兴的边沿学 ...

数据挖掘是一个很杂的领域，确实其中有各个方向的研究和应用，而且需要结合具体问题case by case地分析。统计学在里面是一个很主要的组成部分。在分析与会计财务相关的数据时，会计学当然有用；在分析基因数据中，会计学就未必有用了。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 17:03:07

legionnaire 发表于 2013-5-2 19:31
蒙特卡罗方法是项目管理中风险管理的重要工具，但在项目管理的实践中却用的非常少。张教授能否介绍一下蒙特 ...

蒙特卡洛方法是从指定概率分布中抽样的一系列统计模拟方法，包括MCMC（马科夫链蒙特卡洛）、SMC（序贯蒙特卡洛）等。针对不同的统计模型，蒙特卡洛方法的具体步骤也不同。这还是要看具体问题，抱歉我对这个领域的具体问题不太清楚。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 17:05:17

SJYbluesky 发表于 2013-5-2 22:27
请问：蒙特卡洛模拟如何在贝叶斯分析中应用？还有在Metropolis抽样中，如何确定转移概率矩阵，接受概率α(x ...

蒙特卡洛方法是从指定概率分布中抽样的一系列统计模拟方法，包括MCMC（马科夫链蒙特卡洛）、SMC（序贯蒙特卡洛）等。针对不同的统计模型，蒙特卡洛方法的具体步骤也不同。在贝叶斯分析中，MCMC算法是最主要的方法，正是MCMC算法的发展推动了贝叶斯分析的迅速发展和应用。关于Metropolis Hastings算法的具体问题，你可以参看Jun Liu教授写的《Monte Carlo Strategies in Scientific Computing》中相应的章节。英文书籍后边都有索引，你可以根据索引找到相应的页。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 17:05:43

张老师您好！Jeff Leek说：“如果我们不变革的话，数据科学对我们（生物）统计将是一个威胁”。请问数据科学会不会成为统计学的终结者呢？在这样的背景下，未来统计学和数据挖掘将会向哪些方面发展？谢谢

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 17:05:51

wxdlj 发表于 2013-5-2 22:36
请推荐些数据挖掘的软件

SAS、R

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-5-3 17:06:32

vistro 发表于 2013-5-2 22:44
老师，您好。有个问题真心想请教您。现在的计量软件众多，R软件，eviews，winrats ，stata 等等，我明白哪一 ...

软件不是关键，重要的是对于方法的掌握，对分析结果的解释，等等。再自己挑选一个合适的软件。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

首页上一页下一页跳至第页

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群