(高手请进）VAR Maximum Likelihood Estimator and OLS Estimator

meihao2008

6795

收藏 2010-03-20

I am trying to estimate a VAR system.

I used both Maximum Likelihood and OLS to estimate the coefficients but the results are different. Are they supposed to be the same? 请高手指教! Thanks!

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

weilinhy

2010-3-20 02:15:26

Sometimes both are the same, sometimes not.
There lots of papers discuss this question.
Best regards

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

luxiahyun

2010-3-20 16:19:09

MLE 的前提是：服从正态分布，且最好是满足homoskedasticity;
OLS的前提是：regressor和残差项之间没有correlation；
所以在满足homoskedasticity和正态分布的线性模型种OLS是BLUE，
不过如果你的sample不是服从正态分布。。那MLE和OLS结果自然就不同了
此外，在小样本分析中，MLE和OLS的结果也有可能稍有差异

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

meihao2008

2010-3-21 13:07:17

Thank you for answering my question! Weilinhy and Luxiahyun!

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

gemini69

2010-3-21 23:16:26

luxiahyun 发表于 2010-3-20 16:19
MLE 的前提是：服从正态分布，且最好是满足homoskedasticity;
OLS的前提是：regressor和残差项之间没有correlation；
所以在满足homoskedasticity和正态分布的线性模型种OLS是BLUE，
不过如果你的sample不是服从正态分布。。那MLE和OLS结果自然就不同了
此外，在小样本分析中，MLE和OLS的结果也有可能稍有差异

根据 Gauss-Markov theorem ， BLUE 不需要误差项 (error terms) 服从正态分布。除非您的BLUE与众不同。

另外，请教「MLE 的前提是：服从正态分布，且最好是满足homoskedasticity;」，这是由何而来？

「sample不是服从正态分布。。那MLE和OLS结果自然就不同了」
这与sample服从哪种分布有关吗？
ML estimation 只与 likelihood function 有关；除非事先假设，否则 QMLE 不影响一致性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

gemini69

2010-3-21 23:21:50

meihao2008 发表于 2010-3-20 02:08
I am trying to estimate a VAR system.

I used both Maximum Likelihood and OLS to estimate the coefficients but the results are different. Are they supposed to be the same? 请高手指教! Thanks!

我不是高手，路过瞎掰两句。

两个极可能原因：

第一、Initial values
第二、Information matrix。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

meihao2008

2010-3-22 12:24:52

谢谢Gemini69的纠正和补充。我想Luxiahyun的意思是MLE必须假设误差项符合某种分布，但不一定是正态分布。I am not sure what you mean by "Information matrix“.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

gemini69

2010-3-22 12:45:57

meihao2008 发表于 2010-3-22 12:24
谢谢Gemini69的纠正和补充。我想Luxiahyun的意思是MLE必须假设误差项符合某种分布，但不一定是正态分布。I am not sure what you mean by "Information matrix“.

第一、您所谓的 "the coefficients" 指的是哪些？

第二、您 variance-covariance matrix 怎么处理？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

luxiahyun

2010-3-22 13:34:32

8# gemini69
首先，关于MLE就如楼主提到的，就是我们在写Likelihood Function的时候需要假设其误差项的分布服从某种分布，其中最常用到的就是正态分布。
当然，我也承认我原先的帖子是有点不够严谨，应该是MLE是假设我们知道参差项服从正态分布的情况较多，但也有不是正态分布的时候，比如，在做Probit模型和Logit模型的时候，其中Logit分布就不是正态分布了，不过我们仍然可以对其导出Likelihood Function。
但是在OLS等Linear Estimation当中，只要参差项与Regressor没有correlation，则我们就可以导出Estimator是不偏的（Unbiased）。
当然，BLUE就是Best Linear Unbiased Estimator，
高斯-马尔科夫定理指的是，如果我没有记错，是在古典计量模型的前提下，OLS是Unbiased，其中就有对参差项的Homoskedasticity的假设。关于古典线性计量模型这个大家可以参考Greene。但是很多情况下，尤其是在做实证分析的时候，这个古典线性模型假设是不太实际的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

meihao2008

2010-3-22 23:53:53

真理越辩越明，欢迎大家加入讨论！

gemini69 太谦虚了，还用“您”的，呵呵。

我的"the coefficients" 是指independent variable 或者lagged dependent variable 的系数。

如果用ML去估计，Variance-covariance matrix 要有确定的形式并给定初始值。您的“information matrix"是否就是指的Variance-covariance matrix 的形式呢？

gemini69 发表于 2010-3-22 12:45

第一、您所谓的 "the coefficients" 指的是哪些？

第二、您 variance-covariance matrix 怎么处理？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

meihao2008

2010-3-23 00:00:34

另外，用SAS的VARMAX procedure 去做Granger Causality 是不是更方便一些。请有经验的赐教。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

meihao2008

2010-3-23 00:04:00

另外，用SAS的VARMAX procedure 去做Granger Causality 是不是更方便一些。请有经验的赐教。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

gemini69

2010-3-23 01:33:12

meihao2008 发表于 2010-3-22 23:53
真理越辩越明，欢迎大家加入讨论！
............

我的"the coefficients" 是指independent variable 或者lagged dependent variable 的系数。

如果用ML去估计，Variance-covariance matrix 要有确定的形式并给定初始值。您的“information matrix"是否就是指的Variance-covariance matrix 的形式呢？
gemini69 发表于 2010-3-22 12:45

第一、您所谓的 "the coefficients" 指的是哪些？

第二、您 variance-covariance matrix 怎么处理？

一般言，只要提供欲估计参数起使值，再据以构成 contemporaneous covariance matrix，让 Gauss 去做 identification，就 ok 了；
顶多还需要点 calibration。

ML estimation 参数估计式与OLS的估计式雷同，差别只在於 contemporaneous covariance matrix。

在 contemporaneous correlated, homoskedastic and independent across t (t for time index) 下，
两者也应该 numerically identical，因为都是由残差项 (residuals not error terms) 构成。

另外，您都有 estimated contemporaneous covariance matrix，稍微改一下 lag terms，
您就有两个 estimated contemporaneous covariance matrixes，一个 restricted，一个 unrestricted，
这可以构成 test statistic，Grange Causality 就OK了。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

meihao2008

2010-3-23 10:32:42

Thank you. Gemini69. It seems to me that SAS can do Granger Causality test directly. I am not sure if you have experience on this with SAS.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群