Wolfgang Hardle
Institut fur Statistik und Okonometrie
Humboldt-Universitat zu Berlin
D-10178 Berlin, Germany
Hua Liang
Department of Statistics
Texas A&M University
College Station
TX 77843-3143, USA
and
Institut fur Statistik und Okonometrie
Humboldt-Universitat zu Berlin
D-10178 Berlin, Germany
Jiti Gao
School of Mathematical Sciences
Queensland University of Technology
Brisbane QLD 4001, Australia
and
Department of Mathematics and Statistics
The University of Western Australia
Perth WA 6907, Australia
CONTENTS
PREFACE : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : v
1 INTRODUCTION : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
1.1 Background, History and Practical Examples . . . . . . . . . . . . 1
1.2 The Least Squares Estimators . . . . . . . . . . . . . . . . . . . . 12
1.3 Assumptions and Remarks . . . . . . . . . . . . . . . . . . . . . . 14
1.4 The Scope of the Monograph . . . . . . . . . . . . . . . . . . . . . 16
1.5 The Structure of the Monograph . . . . . . . . . . . . . . . . . . . 17
2 ESTIMATION OF THE PARAMETRIC COMPONENT : : : 19
2.1 Estimation with Heteroscedastic Errors . . . . . . . . . . . . . . . 19
2.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.2 Estimation of the Non-constant Variance Functions . . . . 22
2.1.3 Selection of Smoothing Parameters . . . . . . . . . . . . . 26
2.1.4 Simulation Comparisons . . . . . . . . . . . . . . . . . . . 27
2.1.5 Technical Details . . . . . . . . . . . . . . . . . . . . . . . 28
2.2 Estimation with Censored Data . . . . . . . . . . . . . . . . . . . 33
2.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.2 Synthetic Data and Statement of the Main Results . . . . 33
2.2.3 Estimation of the Asymptotic Variance . . . . . . . . . . . 37
2.2.4 A Numerical Example . . . . . . . . . . . . . . . . . . . . 37
2.2.5 Technical Details . . . . . . . . . . . . . . . . . . . . . . . 38
2.3 Bootstrap Approximations . . . . . . . . . . . . . . . . . . . . . . 41
2.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3.2 Bootstrap Approximations . . . . . . . . . . . . . . . . . . 42
2.3.3 Numerical Results . . . . . . . . . . . . . . . . . . . . . . 43
3 ESTIMATION OF THE NONPARAMETRIC COMPONENT 45
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
viii CONTENTS
3.2 Consistency Results . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3 Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4 Simulated and Real Examples . . . . . . . . . . . . . . . . . . . . 50
3.5 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4 ESTIMATION WITH MEASUREMENT ERRORS : : : : : : 55
4.1 Linear Variables with Measurement Errors . . . . . . . . . . . . . 55
4.1.1 Introduction and Motivation . . . . . . . . . . . . . . . . . 55
4.1.2 Asymptotic Normality for the Parameters . . . . . . . . . 56
4.1.3 Asymptotic Results for the Nonparametric Part . . . . . . 58
4.1.4 Estimation of Error Variance . . . . . . . . . . . . . . . . 58
4.1.5 Numerical Example . . . . . . . . . . . . . . . . . . . . . . 59
4.1.6 Discussions . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.1.7 Technical Details . . . . . . . . . . . . . . . . . . . . . . . 61
4.2 Nonlinear Variables with Measurement Errors . . . . . . . . . . . 65
4.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2.2 Construction of Estimators . . . . . . . . . . . . . . . . . . 66
4.2.3 Asymptotic Normality . . . . . . . . . . . . . . . . . . . . 67
4.2.4 Simulation Investigations . . . . . . . . . . . . . . . . . . . 68
4.2.5 Technical Details . . . . . . . . . . . . . . . . . . . . . . . 70
5 SOME RELATED THEORETIC TOPICS : : : : : : : : : : : : : 77
5.1 The Laws of the Iterated Logarithm . . . . . . . . . . . . . . . . . 77
5.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.1.2 Preliminary Processes . . . . . . . . . . . . . . . . . . . . 78
5.1.3 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.2 The Berry-Esseen Bounds . . . . . . . . . . . . . . . . . . . . . . 82
5.2.1 Introduction and Results . . . . . . . . . . . . . . . . . . . 82
5.2.2 Basic Facts . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.2.3 Technical Details . . . . . . . . . . . . . . . . . . . . . . . 87
5.3 Asymptotically Ecient Estimation . . . . . . . . . . . . . . . . . 94
5.3.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.3.2 Construction of Asymptotically Ecient Estimators . . . . 94
5.3.3 Four Lemmas . . . . . . . . . . . . . . . . . . . . . . . . . 97
CONTENTS ix
5.3.4 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.4 Bahadur Asymptotic Eciency . . . . . . . . . . . . . . . . . . . 104
5.4.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.4.2 Tail Probability . . . . . . . . . . . . . . . . . . . . . . . . 105
5.4.3 Technical Details . . . . . . . . . . . . . . . . . . . . . . . 106
5.5 Second Order Asymptotic Eciency . . . . . . . . . . . . . . . . . 111
5.5.1 Asymptotic Eciency . . . . . . . . . . . . . . . . . . . . 111
5.5.2 Asymptotic Distribution Bounds . . . . . . . . . . . . . . 113
5.5.3 Construction of 2nd Order Asymptotic Ecient Estimator 117
5.6 Estimation of the Error Distribution . . . . . . . . . . . . . . . . 119
5.6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.6.2 Consistency Results . . . . . . . . . . . . . . . . . . . . . . 120
5.6.3 Convergence Rates . . . . . . . . . . . . . . . . . . . . . . 124
5.6.4 Asymptotic Normality and LIL . . . . . . . . . . . . . . . 125
6 PARTIALLY LINEAR TIME SERIES MODELS : : : : : : : : 127
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.2 Adaptive Parametric and Nonparametric Tests . . . . . . . . . . . 127
6.2.1 Asymptotic Distributions of Test Statistics . . . . . . . . . 127
6.2.2 Power Investigations of the Test Statistics . . . . . . . . . 131
6.3 Optimum Linear Subset Selection . . . . . . . . . . . . . . . . . . 136
6.3.1 A Consistent CV Criterion . . . . . . . . . . . . . . . . . . 136
6.3.2 Simulated and Real Examples . . . . . . . . . . . . . . . . 139
6.4 Optimum Bandwidth Selection . . . . . . . . . . . . . . . . . . . 144
6.4.1 Asymptotic Theory . . . . . . . . . . . . . . . . . . . . . . 144
6.4.2 Computational Aspects . . . . . . . . . . . . . . . . . . . . 150
6.5 Other Related Developments . . . . . . . . . . . . . . . . . . . . . 156
6.6 The Assumptions and the Proofs of Theorems . . . . . . . . . . . 157
6.6.1 Mathematical Assumptions . . . . . . . . . . . . . . . . . 157
6.6.2 Technical Details . . . . . . . . . . . . . . . . . . . . . . . 160