Contents
1 License, availabilityand use
10
1.1 License . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Obtainingthe notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Economic and econometric models 12
3 Ordinary Least Squares 14
3.1 Theclassical linear model . . . . . . . . . . . . . . . . . . . . . . . 14
3.2 Estimationby leastsquares . . . . . . . . . . . . . . . . . . . . . . . 15
3.3 Estimatingthe error variance . . . . . . . . . . . . . . . . . . . . . . 16
3.4 Geometricinterpretationof leastsquares estimation . . . . . . . . . . 17
3.4.1 In X Y Space . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Dept. of Economics and Economic History, Universitat Aut¤nom de Barcelona.
3.4.2 In ObservationSpace . . . . . . . . . . . . . . . . . . . . . . 17
3.4.3 Projection Matrices . . . . . . . . . . . . . . . . . . . . . . . 19
3.5 In?uentialobservationsand outliers . . . . . . . . . . . . . . . . . . 20
3.6 Goodnessof ?t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.7 Smallsamplepropertiesof the least squaresestimator . . . . . . . . . 25
3.7.1 Unbiasedness . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.7.2 Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.7.3 Ef?ciency (Gauss-Markovtheorem) . . . . . . . . . . . . . . 26
4 Maximum likelihood estimation 28
4.1 Thelikelihoodfunction . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.2 Consistencyof MLE . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3 Thescore function . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.4 Asymptoticnormalityof MLE . . . . . . . . . . . . . . . . . . . . . 33
4.5 Theinformationmatrixequality . . . . . . . . . . . . . . . . . . . . 37
4.6 TheCram¤?-Rao lowerbound . . . . . . . . . . . . . . . . . . . . . 39
5 Asymptotic properties ofthe least squares estimator 43

5.1 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.2 Asymptoticnormality . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3 Asymptoticef?ciency . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Restrictions and hypothesis tests 47
6.1 Exactlinear restrictions . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.1.1 Imposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.1.2 Properties of the restrictedestimator . . . . . . . . . . . . . . 52
6.2 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

6.2.1 t-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
6.2.2 F test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
6.2.3 Wald-type tests . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.2.4 Score-type tests(Rao tests,Lagrange multipliertests) . . . . . 59
6.2.5 Likelihoodratio-typetests . . . . . . . . . . . . . . . . . . . 62
6.3 Theasymptoticequivalenceof the LR, Wald andscore tests . . . . . . 63
6.4 Interpretationof teststatistics . . . . . . . . . . . . . . . . . . . . . . 68
6.5 Con?dence intervals . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.6 Bootstrapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.7 Testingnonlinear restrictions . . . . . . . . . . . . . . . . . . . . . . 71 Generalized least squares 76
7.1 Effectsof nonsphericaldisturbancesonthe OLS estimator . . . . . . 77
7.2 TheGLS estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
7.3 Feasible GLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.4 Heteroscedasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

7.4.1 OLS with heteroscedasticconsistentvarcovestimation . . . . 84
7.4.2 Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
7.4.3 Correction . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
7.5 Autocorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7.5.1 Causes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7.5.2 AR(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.5.3 MA(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.5.4 Asymptotically valid inferences with autocorrelation of un-
knownform . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7.5.5 Testingfor autocorrelation . . . . . . . . . . . . . . . . . . . 104
3

.............................................................................................

 

23 Simulation-based estimation 378
23.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
23.1.1 Example: Multinomialand/ordynamicdiscreteresponsemodels378
23.1.2 Example: Marginalizationof latentvariables . . . . . . . . . 381
23.1.3 Estimationofmodelsspeci?edintermsofstochasticdifferen-
tial equations . . . . . . . . . . . . . . . . . . . . . . . . . . 383
23.2 Simulatedmaximumlikelihood(SML) . . . . . . . . . . . . . . . . . 385
23.2.1 Example: multinomialprobit . . . . . . . . . . . . . . . . . . 386
23.2.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
23.3 Methodof simulatedmoments(MSM) . . . . . . . . . . . . . . . . . 389
23.3.1 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
23.3.2 Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
23.4 Ef?cientmethodof moments(EMM) . . . . . . . . . . . . . . . . . 392
23.4.1 Optimalweightingmatrix . . . . . . . . . . . . . . . . . . . 395

23.4.2 Asymptoticdistribution . . . . . . . . . . . . . . . . . . . . 397
23.4.3 Diagnotictesting . . . . . . . . . . . . . . . . . . . . . . . . 398
23.5 ApplicationI: estimationof auctionmodels . . . . . . . . . . . . . . 399
23.6 ApplicationII: estimationof stochasticdifferentialequations . . . . . 401
23.7 ApplicationIII: estimationof a multinomialprobitpanel data model . 403
24 Thanks 404
25 The GPL 404