Graduate Econometrics Lecture Notes
Michael Creel
Version 0.4,06Nov. 2002,copyright(C) 2002byMichael Creel
Contents
1 License, availabilityand use
10
1.1 License . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Obtainingthe notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Economic and econometric models 12
3 Ordinary Least Squares 14
3.1 Theclassical linear model . . . . . . . . . . . . . . . . . . . . . . . 14
3.2 Estimationby leastsquares . . . . . . . . . . . . . . . . . . . . . . . 15
3.3 Estimatingthe error variance . . . . . . . . . . . . . . . . . . . . . . 16
3.4 Geometricinterpretationof leastsquares estimation . . . . . . . . . . 17
3.4.1 In X Y Space . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Dept. of Economics and Economic History, Universitat Aut¤nom de Barcelona.
michael.creel@uab.es
1
3.4.2 In ObservationSpace . . . . . . . . . . . . . . . . . . . . . . 17
3.4.3 Projection Matrices . . . . . . . . . . . . . . . . . . . . . . . 19
3.5 In?uentialobservationsand outliers . . . . . . . . . . . . . . . . . . 20
3.6 Goodnessof ?t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.7 Smallsamplepropertiesof the least squaresestimator . . . . . . . . . 25
3.7.1 Unbiasedness . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.7.2 Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.7.3 Ef?ciency (Gauss-Markovtheorem) . . . . . . . . . . . . . . 26
4 Maximum likelihood estimation 28
4.1 Thelikelihoodfunction . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.2 Consistencyof MLE . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3 Thescore function . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.4 Asymptoticnormalityof MLE . . . . . . . . . . . . . . . . . . . . . 33
4.5 Theinformationmatrixequality . . . . . . . . . . . . . . . . . . . . 37
4.6 TheCram¤?-Rao lowerbound . . . . . . . . . . . . . . . . . . . . . 39
5 Asymptotic properties ofthe least squares estimator 43
5.1 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.2 Asymptoticnormality . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3 Asymptoticef?ciency . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6 Restrictions and hypothesis tests 47
6.1 Exactlinear restrictions . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.1.1 Imposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.1.2 Properties of the restrictedestimator . . . . . . . . . . . . . . 52
6.2 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2
6.2.1 t-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
6.2.2 F test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
6.2.3 Wald-type tests . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.2.4 Score-type tests(Rao tests,Lagrange multipliertests) . . . . . 59
6.2.5 Likelihoodratio-typetests . . . . . . . . . . . . . . . . . . . 62
6.3 Theasymptoticequivalenceof the LR, Wald andscore tests . . . . . . 63
6.4 Interpretationof teststatistics . . . . . . . . . . . . . . . . . . . . . . 68
6.5 Con?dence intervals . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.6 Bootstrapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.7 Testingnonlinear restrictions . . . . . . . . . . . . . . . . . . . . . . 71
7 Generalized least squares 76
7.1 Effectsof nonsphericaldisturbancesonthe OLS estimator . . . . . . 77
7.2 TheGLS estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
7.3 Feasible GLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.4 Heteroscedasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
7.4.1 OLS with heteroscedasticconsistentvarcovestimation . . . . 84
7.4.2 Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
7.4.3 Correction . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
7.5 Autocorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7.5.1 Causes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7.5.2 AR(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.5.3 MA(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.5.4 Asymptotically valid inferences with autocorrelation of un-
knownform . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7.5.5 Testingfor autocorrelation . . . . . . . . . . . . . . . . . . . 104
3
7.5.6 Lagged dependentvariablesand autocorrelation . . . . . . . . 105
8 Stochastic regressors 107
8.1 Case 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
8.2 Case 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
8.3 Case 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
8.4 Whenare the assumptionsreasonable? . . . . . . . . . . . . . . . . . 112
9 Data problems 114
9.1 Collinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
9.1.1 A brief aside ondummyvariables . . . . . . . . . . . . . . . 116
9.1.2 Back tocollinearity . . . . . . . . . . . . . . . . . . . . . . . 116
9.1.3 Detection of collinearity . . . . . . . . . . . . . . . . . . . . 118
9.1.4 Dealing withcollinearity . . . . . . . . . . . . . . . . . . . . 118
9.2 Measurementerror . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
9.2.1 Error of measurement ofthe dependentvariable . . . . . . . . 123
9.2.2 Error of measurement ofthe regressors . . . . . . . . . . . . 124
9.3 Missingobservations . . . . . . . . . . . . . . . . . . . . . . . . . . 126
9.3.1 Missingobservationson the dependentvariable . . . . . . . . 126
9.3.2 The sampleselectionproblem . . . . . . . . . . . . . . . . . 129
9.3.3 Missingobservationson the regressors . . . . . . . . . . . . 130
10 Functional formand nonnested tests 132
10.1 Flexiblefunctionalforms . . . . . . . . . . . . . . . . . . . . . . . . 133
10.1.1 The translogform . . . . . . . . . . . . . . . . . . . . . . . . 135
10.1.2 FGLS estimationof a translogmodel . . . . . . . . . . . . . 141
10.2 Testingnonnestedhypotheses . . . . . . . . . . . . . . . . . . . . . . 145