Computer-Aided
Introduction to Econometrics
Juan M. Rodriguez Poo
In cooperation with
Ignacio Moral, M. Teresa Aparicio, Inmaculada Villanua,
Pavel Czek, Yingcun Xia, Pilar Gonzalez, M. Paz Moral, Rong Chen,
Rainer Schulz, Sabine Stephan, Pilar Olave,
J. Tomas Alcala and Lenka Cizkova
January 17, 2003

Contents
1 Univariate Linear Regression Model 1
Ignacio Moral and Juan M. Rodriguez-Poo
1.1 Probability and Data Generating Process . . . . . . . . . . . . 1
1.1.1 Random Variable and Probability Distribution . . . . . 2
1.1.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.3 Data Generating Process . . . . . . . . . . . . . . . . . 8
1.1.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2 Estimators and Properties . . . . . . . . . . . . . . . . . . . . . 12
1.2.1 Regression Parameters and their Estimation . . . . . . . 14
1.2.2 Least Squares Method . . . . . . . . . . . . . . . . . . . 16
1.2.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.4 Goodness of Fit Measures . . . . . . . . . . . . . . . . . 20
1.2.5 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.2.6 Properties of the OLS Estimates of , and 2 . . . . . 23
1.2.7 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3 Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.3.1 Hypothesis Testing about . . . . . . . . . . . . . . . . 31
1.3.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.3.3 Testing Hypothesis Based on the Regression Fit . . . . 35

1.3.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.3.5 Hypothesis Testing about  . . . . . . . . . . . . . . . . 37
1.3.6 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.3.7 Hypotheses Testing about 2 . . . . . . . . . . . . . . . 38
1.4 Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.4.1 Con dence Interval for the Point Forecast . . . . . . . . 40
1.4.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.4.3 Con dence Interval for the Mean Predictor . . . . . . . 41
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2 Multivariate Linear Regression Model 45
Teresa Aparicio and Inmaculada Villanua
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.2 Classical Assumptions of the MLRM . . . . . . . . . . . . . . . 46
2.2.1 The Systematic Component Assumptions . . . . . . . . 47
2.2.2 The Random Component Assumptions . . . . . . . . . . 48
2.3 Estimation Procedures . . . . . . . . . . . . . . . . . . . . . . . 49
2.3.1 The Least Squares Estimation . . . . . . . . . . . . . . 50
2.3.2 The Maximum Likelihood Estimation . . . . . . . . . . 55
2.3.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.4 Properties of the Estimators . . . . . . . . . . . . . . . . . . . . 59
2.4.1 Finite Sample Properties of the OLS and ML Estimates
of . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.4.2 Finite Sample Properties of the OLS and ML Estimates
of 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.3 Asymptotic Properties of the OLS and ML Estimators of 66
2.4.4 Asymptotic Properties of the OLS and ML Estimators of
2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

2.4.5 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.5 Interval Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.5.1 Interval Estimation of the Coecients of the MLRM . . 73
2.5.2 Interval Estimation of 2 . . . . . . . . . . . . . . . . . 74
2.5.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.6 Goodness of Fit Measures . . . . . . . . . . . . . . . . . . . . . 75
2.7 Linear Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . 77
2.7.1 Hypothesis Testing about the Coecients . . . . . . . . 78
2.7.2 Hypothesis Testing about a Coecient of the MLRM . 81
2.7.3 Testing the Overall Signi cance of the Model . . . . . . 83
2.7.4 Testing Hypothesis about 2 . . . . . . . . . . . . . . . 84
2.7.5 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
2.8 Restricted and Unrestricted Regression . . . . . . . . . . . . . . 85
2.8.1 Restricted Least Squares and Restricted Maximum Likelihood
Estimators . . . . . . . . . . . . . . . . . . . . . 86
2.8.2 Finite Sample Properties of the Restricted Estimator Vector
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.8.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.9 Three General Test Procedures . . . . . . . . . . . . . . . . . . 92
2.9.1 Likelihood Ratio Test (LR) . . . . . . . . . . . . . . . . 92
2.9.2 The Wald Test (W) . . . . . . . . . . . . . . . . . . . . 93
2.9.3 Lagrange Multiplier Test (LM) . . . . . . . . . . . . . . 94
2.9.4 Relationships and Properties of the Three General Testing
Procedures . . . . . . . . . . . . . . . . . . . . . . . 95
2.9.5 The Three General Testing Procedures in the MLRM
Context . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
2.9.6 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
2.10 Dummy Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 102

2.10.1 Models with Changes in the Intercept . . . . . . . . . . 103
2.10.2 Models with Changes in some Slope Parameters . . . . 107
2.10.3 Models with Changes in all the Coecients . . . . . . . 109
2.10.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
2.11 Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
2.11.1 Point Prediction . . . . . . . . . . . . . . . . . . . . . . 113
2.11.2 Interval Prediction . . . . . . . . . . . . . . . . . . . . . 115
2.11.3 Measures of the Accuracy of Forecast . . . . . . . . . . 117
2.11.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
3 Dimension Reduction and Its Applications 121
Pavel  Czek and Yingcun Xia
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.1.1 Real Data Sets . . . . . . . . . . . . . . . . . . . . . . . 121
3.1.2 Theoretical Consideration . . . . . . . . . . . . . . . . . 124
3.2 Average Outer Product of Gradients and its Estimation . . . . 128
3.2.1 The Simple Case . . . . . . . . . . . . . . . . . . . . . . 128
3.2.2 The Varying-coecient Model . . . . . . . . . . . . . . . 130
3.3 A Uni ed Estimation Method . . . . . . . . . . . . . . . . . . . 130
3.3.1 The Simple Case . . . . . . . . . . . . . . . . . . . . . . 131
3.3.2 The Varying-coecient Model . . . . . . . . . . . . . . . 140
3.4 Number of E.D.R. Directions . . . . . . . . . . . . . . . . . . . 142
3.5 The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
3.6 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . 147
3.7 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
3.8 Conclusions and Further Discussion . . . . . . . . . . . . . . . 157

3.9 Appendix. Assumptions and Remarks . . . . . . . . . . . . . . 158
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
4 Univariate Time Series Modelling 163
Paz Moral and Pilar Gonzalez
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
4.2 Linear Stationary Models for Time Series . . . . . . . . . . . . 166
4.2.1 White Noise Process . . . . . . . . . . . . . . . . . . . . 170
4.2.2 Moving Average Model . . . . . . . . . . . . . . . . . . 171
4.2.3 Autoregressive Model . . . . . . . . . . . . . . . . . . . 174
4.2.4 Autoregressive Moving Average Model . . . . . . . . . . 178
4.3 Nonstationary Models for Time Series . . . . . . . . . . . . . . 180
4.3.1 Nonstationary in the Variance . . . . . . . . . . . . . . 180
4.3.2 Nonstationarity in the Mean . . . . . . . . . . . . . . . 181
4.3.3 Testing for Unit Roots and Stationarity . . . . . . . . . 187
4.4 Forecasting with ARIMA Models . . . . . . . . . . . . . . . . . 192
4.4.1 The Optimal Forecast . . . . . . . . . . . . . . . . . . . 192
4.4.2 Computation of Forecasts . . . . . . . . . . . . . . . . . 193
4.4.3 Eventual Forecast Functions . . . . . . . . . . . . . . . . 194
4.5 ARIMA Model Building . . . . . . . . . . . . . . . . . . . . . . 197
4.5.1 Inference for the Moments of Stationary Processes . . . 198
4.5.2 Identi cation of ARIMA Models . . . . . . . . . . . . . 199
4.5.3 Parameter Estimation . . . . . . . . . . . . . . . . . . . 203
4.5.4 Diagnostic Checking . . . . . . . . . . . . . . . . . . . . 207
4.5.5 Model Selection Criteria . . . . . . . . . . . . . . . . . . 210
4.5.6 Example: European Union G.D.P. . . . . . . . . . . . . 212
4.6 Regression Models for Time Series . . . . . . . . . . . . . . . . 216

4.6.1 Cointegration . . . . . . . . . . . . . . . . . . . . . . . . 218
4.6.2 Error Correction Models . . . . . . . . . . . . . . . . . . 221
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
5 Multiplicative SARIMA models 225
Rong Chen, Rainer Schulz and Sabine Stephan
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
5.2 Modeling Seasonal Time Series . . . . . . . . . . . . . . . . . . 227
5.2.1 Seasonal ARIMA Models . . . . . . . . . . . . . . . . . 227
5.2.2 Multiplicative SARIMA Models . . . . . . . . . . . . . . 231
5.2.3 The Expanded Model . . . . . . . . . . . . . . . . . . . 233
5.3 Identi cation of Multiplicative SARIMA Models . . . . . . . . 234
5.4 Estimation of Multiplicative SARIMA Models . . . . . . . . . . 239
5.4.1 Maximum Likelihood Estimation . . . . . . . . . . . . . 241
5.4.2 Setting the Multiplicative SARIMA Model . . . . . . . 243
5.4.3 Setting the Expanded Model . . . . . . . . . . . . . . . 246
5.4.4 The Conditional Sum of Squares . . . . . . . . . . . . . 247
5.4.5 The Extended ACF . . . . . . . . . . . . . . . . . . . . 249
5.4.6 The Exact Likelihood . . . . . . . . . . . . . . . . . . . 250
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
6 AutoRegressive Conditional Heteroscedastic Models 255
Pilar Olave and Jose T. Alcala
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
6.2 ARCH(1) Model . . . . . . . . . . . . . . . . . . . . . . . . . . 260
6.2.1 Conditional and Unconditional Moments of the ARCH(1) 260
6.2.2 Estimation for ARCH(1) Process . . . . . . . . . . . . . 263

6.3 ARCH(q) Model . . . . . . . . . . . . . . . . . . . . . . . . . . 267
6.4 Testing Heteroscedasticity and ARCH(1) Disturbances . . . . . 269
6.4.1 The Breusch-Pagan Test . . . . . . . . . . . . . . . . . . 270
6.4.2 ARCH(1) Disturbance Test . . . . . . . . . . . . . . . . 271
6.5 ARCH(1) Regression Model . . . . . . . . . . . . . . . . . . . . 273
6.6 GARCH(p,q) Model . . . . . . . . . . . . . . . . . . . . . . . . 276
6.6.1 GARCH(1,1) Model . . . . . . . . . . . . . . . . . . . . 277
6.7 Extensions of ARCH Models . . . . . . . . . . . . . . . . . . . 279
6.8 Two Examples of Spanish Financial Markets . . . . . . . . . . 281
6.8.1 Ibex35 Data . . . . . . . . . . . . . . . . . . . . . . . . . 281
6.8.2 Exchange Rate US Dollar/Spanish Peseta Data (Continued)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
7 Numerical Optimization Methods in Econometrics 287
Lenka  Czkova
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
7.2 Solving a Nonlinear Equation . . . . . . . . . . . . . . . . . . . 287
7.2.1 Termination of Iterative Methods . . . . . . . . . . . . . 288
7.2.2 Newton-Raphson Method . . . . . . . . . . . . . . . . . 288
7.3 Solving a System of Nonlinear Equations . . . . . . . . . . . . . 290
7.3.1 Newton-Raphson Method for Systems . . . . . . . . . . 290
7.3.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
7.3.3 Modi ed Newton-Raphson Method for Systems . . . . . 293
7.3.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
7.4 Minimization of a Function: One-dimensional Case . . . . . . . 296
7.4.1 Minimum Bracketing . . . . . . . . . . . . . . . . . . . . 296

7.4.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
7.4.3 Parabolic Interpolation . . . . . . . . . . . . . . . . . . 297
7.4.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
7.4.5 Golden Section Search . . . . . . . . . . . . . . . . . . . 300
7.4.6 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
7.4.7 Brent's Method . . . . . . . . . . . . . . . . . . . . . . . 302
7.4.8 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
7.4.9 Brent's Method Using First Derivative of a Function . . 305
7.4.10 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
7.5 Minimization of a Function: Multidimensional Case . . . . . . 307
7.5.1 Nelder and Mead's Downhill Simplex Method (Amoeba) 307
7.5.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
7.5.3 Conjugate Gradient Methods . . . . . . . . . . . . . . . 308
7.5.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 309
7.5.5 Quasi-Newton Methods . . . . . . . . . . . . . . . . . . 312
7.5.6 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 313
7.5.7 Line Minimization . . . . . . . . . . . . . . . . . . . . . 316
7.5.8 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 317
7.6 Auxiliary Routines for Numerical Optimization . . . . . . . . . 320
7.6.1 Gradient . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
7.6.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 321
7.6.3 Jacobian . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
7.6.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 323
7.6.5 Hessian . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
7.6.6 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
7.6.7 Restriction of a Function to a Line . . . . . . . . . . . . 326
7.6.8 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

7.6.9 Derivative of a Restricted Function . . . . . . . . . . . . 327
7.6.10 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
Index 329

英文版,PDF格式,共2.33MB